Qu'est-ce que NannyML ?

Surveiller le Machine Learning en Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Prérequis

  • Sujets sur la surveillance en Machine Learning :
    • Le flux de travail idéal de monitoring
    • Les défis du suivi des modèles ML en production
    • Deux pannes silencieuses : dérives de variables et de concept
    • Six méthodes pour détecter les dérives de variables
    • Les notions théoriques derrière les méthodes d’estimation de performance CBPE et DLE
Surveiller le Machine Learning en Python

Ce que couvre ce cours ?

  • Construire un système de monitoring robuste avec NannyML
  • Mettre en œuvre des algorithmes d’estimation de performance
  • Utiliser le calculateur métier pour chiffrer la valeur de votre modèle de Machine Learning
  • Exécuter des méthodes univariées et multivariées de détection de dérive de variables
Surveiller le Machine Learning en Python

Défis du monitoring

$$

Pas d’accès à la vérité terrain

Le graphique montre la métrique ROC AUC dans le temps ; après le déploiement, il est vide faute de vérité terrain.

$$

Fatigue face aux alertes

L’image montre des évolutions de distributions dans le temps ; certaines en rouge indiquent une dérive, avec des commentaires : faut-il s’inquiéter ou est-ce une fausse alerte ?

Surveiller le Machine Learning en Python

Solution open source

L’image montre le logo NannyML et des entreprises utilisatrices comme Walmart, Allianz, UBS ou DeepMind. On y voit aussi que NannyML fonctionne avec tout framework.

Surveiller le Machine Learning en Python

Fonctionnalités clé

  1. Surveiller l’essentiel
    • Estimation et calcul de performance
    • Estimation et calcul de la valeur métier
  2. Trouver ce qui est cassé
    • Univarié
    • Multivarié
    • Qualité des données
  3. Corriger
    • Déclencheurs de réentraînement
Surveiller le Machine Learning en Python

Comment utiliser NannyML ?

L’image montre les données de test et de production arrivant dans NannyML.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Surveiller le Machine Learning en Python

Passons à la pratique !

Surveiller le Machine Learning en Python

Preparing Video For Download...