Szacowanie wydajności

Monitorowanie uczenia maszynowego w Pythonie

Hakim Elakhrass

Co-founder and CEO of NannyML

Algorytmy

CBPE – szacowanie wydajności oparte na ufności
DLE – bezpośrednie szacowanie straty

Bezpośrednie szacowanie straty

Stosowany do zadań regresji
Szacuje funkcję straty monitorowanego modelu
LGBM używany jako model „dodatkowy"
NannyML obsługuje metryki regresji: MAE, MSE, RMSE

Schemat przedstawia działanie algorytmu DLE. Dane produkcyjne trafiają do algorytmu, na podstawie predykcji i danych produkcyjnych tworzony jest zbiór analityczny, który jest przekazywany do modelu dodatkowego w celu oszacowania wydajności.

DLE – implementacja kodu

# Initialize the DLE algorithm
estimator = nannyml.DLE(
    y_true='target',
    y_pred='y_pred',
    metrics=['rmse'],
    timestamp_column_name='timestamp',
    chunk_period='d'
    feature_column_names=features,
    tune_hyperparameters=False
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

Szacowanie wydajności oparte na ufności

Stosowany do klasyfikacji binarnej i wieloklasowej
Wykorzystuje wyniki ufności do szacowania macierzy pomyłek
Szacuje dowolną metrykę klasyfikacji

Schemat przedstawia działanie algorytmu CBPE. Zbiór analityczny trafia do algorytmu CBPE, który przewiduje macierz pomyłek. Na jej podstawie obliczane są inne metryki klasyfikacji.

CBPE – implementacja kodu

# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='targets',
    timestamp_column_name='timestamp',
    metrics=['roc_auc'],
    chunk_period='d',
    problem_type='classification_binary',
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

Wyniki

results.plot().show()

Wykres przedstawia szacowane metryki RMSE w czasie.

Czas na ćwiczenia!

Monitorowanie uczenia maszynowego w Pythonie