Als labels beschikbaar zijn

Monitoring Machine Learning in Python

Maciej Balawejder

Data Scientist

Geschat vs. gerealiseerd

Geschatte performance:

  • meet hoe goed het model naar verwachting presteert

  • bepaald met estimators zoals CBPE en DLE

  • geschat als ground truth ontbreekt

Gerealiseerde performance:

  • is de gemeten performance
  • bepaald met een performance-calculator
  • berekend als ground truth beschikbaar is
Monitoring Machine Learning in Python

Vertraagde ground truth

De tijdlijn toont per week drie punten. Elke maandag wordt de gerealiseerde performance van het model geëvalueerd; tussendoor schat de CBPE-estimator de performance.

Monitoring Machine Learning in Python

Performance-calculator

# Initialiseer de calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit de calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
Monitoring Machine Learning in Python

Resultaten plotten

# Toon plot van gerealiseerde performance
results.plot().show()

De afbeelding toont de gerealiseerde ROC AUC-grafiek, met een daling van april 2019 tot augustus 2019.

Monitoring Machine Learning in Python

Gerealiseerde vs. geschatte performance

# Schat en bereken resultaten
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Toon vergelijkingsplot
realized_results.compare(estimated_results).plot().show()
Monitoring Machine Learning in Python

Gerealiseerde vs. geschatte performance

De plot vergelijkt de gerealiseerde en geschatte performance voor de ROC AUC-metriek.

Monitoring Machine Learning in Python

Laten we oefenen!

Monitoring Machine Learning in Python

Preparing Video For Download...