Le flux de surveillance idéal

Concepts de monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Flux de surveillance

Flux de surveillance traditionnel

  • Calculer la performance technique

  • Alerter selon les dérives des données d’entrée

  • Génère de nombreux faux positifs

Flux de surveillance idéal

  • Suivi de la performance technique

    • Calculer et estimer la performance

  • Analyse des causes racines

    • Relie les dérives aux baisses de performance

 

Le flux idéal commence par le suivi de performance. En cas de dégradation, on mène une analyse des causes, puis la résolution du problème.

Concepts de monitoring en Machine Learning

Suivi de la performance

Comprend :

  • Calcul de la performance — métriques techniques comme l’accuracy

 

  • Estimation de la performance — si la vérité terrain n’est pas disponible

 

  • Mesure de l’impact business — suivi des indicateurs clés (KPI)

  Le graphique montre l’accuracy dans le temps, qui baisse et dépasse le seuil.

Le graphique KPI vs temps montre des KPI restant dans les seuils.

Concepts de monitoring en Machine Learning

Analyse des causes racines

Objectif : enquêter sur

 

  • Covariate shift — décalages dans la distribution des entrées

 

  • Concept drift — changement de relation entre variables et cibles

Le tracé montre la frontière de décision entre des cercles bleus et rouges pour un modèle fonctionnel.

Le tracé montre le déplacement de cercles bleus franchissant la frontière, indiquant un covariate shift.

Le tracé illustre le changement de frontière de décision, indiquant un concept drift.

Concepts de monitoring en Machine Learning

Résolution des problèmes

Solutions possibles :

  • Réentraînement — nécessite plus de données et de calcul

 

  • Refactorer le cas d’usage — prendre du recul et repenser les méthodes

 

  • Modifier les processus aval — ajuster les processus autour de la prédiction

  L’image montre un cerveau numérique (modèle ML) et un signe plus relié à une base de données, indiquant le réentraînement avec plus de données.

L’image montre un tableau avec des questions sur le feature engineering, les variables utilisées et la régression linéaire.

L’image montre une personne vérifiant manuellement quelque chose sur un ordinateur.

Concepts de monitoring en Machine Learning

Passons à la pratique !

Concepts de monitoring en Machine Learning

Preparing Video For Download...