Le flux de travail idéal pour la surveillance

Principes de surveillance en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Flux de travail de surveillance

Flux de travail traditionnel

  • Calculer la performance technique

  • Alerter selon les dérives des données d'entrée

  • Donne lieu à de nombreuses fausses alertes

Flux de travail idéal

  • Surveillance de la performance technique

    • Calculer et estimer la performance

  • Analyse des causes profondes

    • Relier les dérives aux baisses de performance

 

Le flux idéal : d'abord la surveillance de la performance. En cas de dégradation, on fait l'analyse des causes, puis on résout le problème.

Principes de surveillance en Machine Learning

Surveiller la performance

Comprend :

  • Calculer la performance — métriques techniques comme l'exactitude

 

  • Estimer la performance — si la vérité terrain n'est pas disponible

 

  • Mesurer l'impact d'affaires — suivre les indicateurs clés (KPI)

  Le graphique montre l'exactitude dans le temps ; elle diminue et dépasse le seuil fixé.

Le graphique des KPI dans le temps montre qu'ils restent dans les seuils spécifiés.

Principes de surveillance en Machine Learning

Analyse des causes profondes

Objectif : enquêter sur :

 

  • Covariate shift — dérive de la distribution des données d'entrée

 

  • Concept drift — changement du lien entre variables et cibles

Le tracé montre la frontière de décision entre des cercles bleus et rouges pour un modèle fonctionnel.

Le tracé montre le déplacement des cercles bleus franchissant la frontière, indiquant un covariate shift.

Le tracé illustre le changement de frontière de décision, signe d'un concept drift.

Principes de surveillance en Machine Learning

Résolution des problèmes

Pistes de solution :

  • Réentraînement — exige plus de données et de calcul

 

  • Réviser le cas d'usage — prendre du recul et repenser les méthodes

 

  • Modifier les processus en aval — ajuster ceux autour de la prédiction

  Image : cerveau numérique (modèle d'apprentissage automatique) et signe plus vers une base de données ; indique le réentraînement avec plus de données.

Image : planche à dessin avec des questions sur l'ingénierie des caractéristiques, les variables utilisées et la régression linéaire.

Image : une personne vérifie manuellement quelque chose à l'ordinateur.

Principes de surveillance en Machine Learning

Passons à la pratique !

Principes de surveillance en Machine Learning

Preparing Video For Download...