Défis de la surveillance des modèles de Machine Learning

Principes de surveillance en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Composantes d'un projet de Machine Learning

Un diagramme de Venn à trois cercles illustre l'ingénierie logicielle, l'analytique de données et le Machine Learning; leur intersection représente la science des données.

Principes de surveillance en Machine Learning

Le modèle n'arrive pas à prédire

Problèmes possibles :

  • Barrières linguistiques : combiner divers langages avec du code « colle »

 

  • Maintenance du code : incompatibilités après mise à jour des dépendances

 

  • Mise à l'échelle : infrastructure peu robuste pour plus d'utilisateurs
Principes de surveillance en Machine Learning

Les prédictions du modèle échouent

Dérive des variables explicatives

  • Changement de la distribution des intrants
  • Détectable avec des méthodes statistiques
  • Toute dérive n'affecte pas la performance

 

Un graphique de densité comparant l'âge des clients dans les ensembles d'entraînement et de production montre que l'entraînement est fortement biaisé vers les âges faibles. La production a une forme similaire, avec un pic aux âges élevés.

Dérive de concept

  • Changement du lien entre les données d'entrée et les cibles
  • Difficile à détecter
  • Affecte presque toujours l'impact d'affaires du modèle

Il existe une relation entre la valeur vie client (CLV) et la caractéristique d'entrée Âge pour l'entraînement et la production. Cependant, la relation change en production, signe d'une dérive de concept.

Principes de surveillance en Machine Learning

Disponibilité de la vérité terrain

Image d'un magasin de vêtements.

Principes de surveillance en Machine Learning

Passons à la pratique !

Principes de surveillance en Machine Learning

Preparing Video For Download...