Quand les étiquettes sont disponibles

Surveiller le Machine Learning en Python

Maciej Balawejder

Data Scientist

Performance estimée vs réalisée

Performance estimée :

  • mesure les performances attendues du modèle

  • déterminée via des estimateurs comme CBPE et DLE

  • estimée quand la vérité terrain n'est pas disponible

Performance réalisée :

  • représente la performance mesurée
  • déterminée avec un calculateur de performance
  • calculée quand la vérité terrain est disponible
Surveiller le Machine Learning en Python

Vérité terrain retardée

L'illustration montre un axe temporel avec trois points par semaine. Chaque lundi, on évalue la performance réalisée du modèle, tandis que l'estimateur CBPE est utilisé pour estimer la performance entre les lundis.

Surveiller le Machine Learning en Python

Calculateur de performance

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
Surveiller le Machine Learning en Python

Afficher les résultats

# Show realized performance plot
results.plot().show()

Le graphique illustre la courbe ROC AUC réalisée, montrant une baisse de performance d'avril 2019 à août 2019.

Surveiller le Machine Learning en Python

Performances réalisées et estimées

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()
Surveiller le Machine Learning en Python

Performances réalisées et estimées

Le graphique compare les performances réalisées et estimées pour la métrique ROC AUC.

Surveiller le Machine Learning en Python

Passons à la pratique !

Surveiller le Machine Learning en Python

Preparing Video For Download...