Estimation de la performance

Principes de surveillance en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Aperçu

Deux algorithmes d'estimation de performance :

  • CBPE – tâches de classification
  • DLE – tâches de régression
Principes de surveillance en Machine Learning

CBPE – Fonctionnement

  • Estime une matrice de confusion

 

  • Permet de calculer des métriques de classification comme l'exactitude, la précision, le rappel

 

  • Rend compte de l'effet d'un décalage des covariables sur le modèle

 

L'algorithme CBPE est illustré : un premier modèle produit une prédiction pour un exemple, puis on détermine la classe. Par exemple, si le modèle prédit 0,9 pour un exemple, la classe est positive car la valeur dépasse 0,5. Sinon, si elle est sous 0,5, la classe est négative. Ce processus s'applique à tous les exemples du jeu de données, et les scores de confiance sont agrégés pour générer une matrice de confusion estimée.

Principes de surveillance en Machine Learning

CBPE – Points à considérer

  • Aucun décalage des covariables dans les régions non vues

 

  • Aucune dérive de concept dans les nouvelles données

 

  • Exige un calibrage des probabilités
Principes de surveillance en Machine Learning

DLE – Fonctionnement

  • Prédit l'erreur absolue du modèle

 

  • Utilise un modèle enfant externe

 

  • Permet de calculer diverses métriques de régression comme MAE, MSE, MSLE

 

  • Détecte la présence d'un décalage des covariables dans les données d'entrée

L'image décrit l'estimation de performance pour une tâche de régression en production. D'abord, les données d'analyse sont envoyées au modèle pour générer des prédictions. Ces prédictions, avec les données d'analyse, sont transmises au modèle enfant, qui prédit l'erreur. À partir de cette prédiction d'erreur, on calcule d'autres métriques de régression pour évaluer la performance du modèle.

Principes de surveillance en Machine Learning

DLE – Points à considérer

  • Aucun décalage des covariables dans les régions non vues

 

  • Aucune dérive de concept dans les nouvelles données

 

  • Complexité accrue
Principes de surveillance en Machine Learning

Passons à la pratique !

Principes de surveillance en Machine Learning

Preparing Video For Download...