Qu'est-ce que NannyML?

Surveiller le Machine Learning en Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Préalables

  • Sujets sur la surveillance en Machine Learning :
    • Le flux de travail idéal de surveillance
    • Défis de la surveillance des modèles ML en production
    • Deux pannes silencieuses : décalage des covariables et dérive de concept
    • Six méthodes pour détecter le décalage des covariables
    • Notions théoriques derrière les méthodes d'estimation des performances CBPE et DLE
Surveiller le Machine Learning en Python

Ce que ce cours couvre

  • Mettre en place un système de surveillance robuste avec NannyML
  • Implémenter des algorithmes d'estimation des performances
  • Utiliser le calculateur d'affaires pour estimer la valeur monétaire de votre modèle de Machine Learning
  • Exécuter des méthodes de détection de décalage des covariables univariées et multivariées
Surveiller le Machine Learning en Python

Défis de surveillance

$$

Aucun accès à la vérité terrain

Le graphique montre la métrique ROC AUC dans le temps ; après le déploiement, il est vide faute d'accès à la vérité terrain.

$$

Fatigue liée aux alertes

L'image montre des changements de distribution des données dans le temps ; certains en rouge indiquent un décalage, avec des commentaires. Faut-il s'inquiéter ou est-ce une fausse alerte ?

Surveiller le Machine Learning en Python

Solution libre

L'image montre le logo NannyML et des entreprises qui l'utilisent, comme Walmart, Allianz, UBS et DeepMind. On y voit aussi que NannyML fonctionne avec tout cadre d'application.

Surveiller le Machine Learning en Python

Fonctionnalités clés

  1. Surveiller l'essentiel
    • Estimation et calcul des performances
    • Estimation et calcul de la valeur d'affaires
  2. Trouver ce qui est brisé
    • Univarié
    • Multivarié
    • Qualité des données
  3. Corriger
    • Déclencheurs de réentraînement
Surveiller le Machine Learning en Python

Comment utiliser NannyML?

L'image montre les données d'essai et de production arrivant dans NannyML.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Surveiller le Machine Learning en Python

Passons à la pratique !

Surveiller le Machine Learning en Python

Preparing Video For Download...