Estimation des performances

Concepts de monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Aperçu

Deux algorithmes d’estimation des performances :

  • CBPE - tâches de classification
  • DLE - tâches de régression
Concepts de monitoring en Machine Learning

CBPE - Fonctionnement

  • Estime une matrice de confusion

 

  • Permet de calculer des métriques de classification (accuracy, precision, recall)

 

  • Capture l’impact du décalage de covariables sur le modèle

 

L’algorithme CBPE est illustré par une image montrant son fonctionnement. Un premier modèle prédit à partir d’un exemple, puis cette prédiction détermine la classe. Par exemple, si le modèle prédit 0,9 pour un exemple, la classe est positive car la valeur dépasse 0,5. Sinon, si la valeur est inférieure à 0,5, la classe est négative. Ce processus est répété pour tout le jeu de données et les scores de confiance résultants sont agrégés pour produire une matrice de confusion estimée.

Concepts de monitoring en Machine Learning

CBPE - Points à considérer

  • Pas de décalage de covariables dans les zones non vues

 

  • Aucun dérive de concept dans les données entrantes

 

  • Nécessite une calibration des probabilités
Concepts de monitoring en Machine Learning

DLE - Fonctionnement

  • Prédit l’erreur absolue du modèle

 

  • Utilise un modèle enfant externe

 

  • Permet de calculer diverses métriques de régression (MAE, MSE, MSLE)

 

  • Détecte la présence de décalage de covariables dans les données d’entrée

L’image décrit le processus d’estimation des performances pour une tâche de régression en production. D’abord, les données d’analyse sont envoyées au modèle pour générer des prédictions. Ces prédictions, avec les données d’analyse, sont ensuite passées au modèle enfant, qui prédit l’erreur. À partir de cette erreur prédite, d’autres métriques de régression sont calculées pour évaluer les performances du modèle.

Concepts de monitoring en Machine Learning

DLE - Points à considérer

  • Pas de décalage de covariables dans les zones non vues

 

  • Aucun dérive de concept dans les nouvelles données

 

  • Complexité supplémentaire
Concepts de monitoring en Machine Learning

Passons à la pratique !

Concepts de monitoring en Machine Learning

Preparing Video For Download...