Lorsque des étiquettes sont disponibles

Surveiller le Machine Learning en Python

Maciej Balawejder

Data Scientist

Performance estimée vs réalisée

Performance estimée :

  • indique le rendement attendu du modèle

  • déterminée avec des estimateurs comme CBPE et DLE

  • estimée quand la vérité terrain n'est pas disponible

Performance réalisée :

  • correspond au rendement mesuré
  • déterminée avec un calculateur de performance
  • calculée quand la vérité terrain est disponible
Surveiller le Machine Learning en Python

Vérité terrain différée

L'image montre un axe temporel avec trois points par semaine. Chaque lundi, la performance réalisée du modèle est évaluée, tandis que l'estimateur CBPE sert à estimer la performance entre les lundis.

Surveiller le Machine Learning en Python

Calculateur de performance

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
Surveiller le Machine Learning en Python

Tracer les résultats

# Show realized performance plot
results.plot().show()

L'image illustre le graphique ROC AUC réalisé, montrant une baisse de performance d'avril 2019 à août 2019.

Surveiller le Machine Learning en Python

Performance réalisée et estimée

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()
Surveiller le Machine Learning en Python

Performance réalisée et estimée

Le graphique compare la performance réalisée et estimée pour la mesure ROC AUC.

Surveiller le Machine Learning en Python

Passons à la pratique !

Surveiller le Machine Learning en Python

Preparing Video For Download...