Gdy etykiety są dostępne

Monitorowanie uczenia maszynowego w Pythonie

Maciej Balawejder

Data Scientist

Szacowana a rzeczywista wydajność

Szacowana wydajność:

mierzy oczekiwaną wydajność modelu
wyznaczana przez estymatory takie jak CBPE i DLE
szacowana gdy dane rzeczywiste są niedostępne

Rzeczywista wydajność:

reprezentuje zmierzoną wydajność
wyznaczana przez kalkulator wydajności
obliczana gdy dane rzeczywiste są dostępne

Opóźnione dane rzeczywiste

Obraz przedstawia oś czasu z trzema punktami dla każdego tygodnia. Co poniedziałek oceniana jest rzeczywista wydajność modelu, a estymator CBPE służy do szacowania wydajności między poniedziałkami.

Kalkulator wydajności

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)

Wizualizacja wyników

# Show realized performance plot
results.plot().show()

Obraz przedstawia wykres rzeczywistego ROC AUC, ukazując spadek wydajności od kwietnia 2019 do sierpnia 2019.

Rzeczywista i szacowana wydajność

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()

Rzeczywista i szacowana wydajność

Wykres porównuje rzeczywistą i szacowaną wydajność dla metryki ROC AUC.

Ćwiczmy!

Monitorowanie uczenia maszynowego w Pythonie