Odhad výkonu

Monitoring Machine Learning in Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Algoritmy

CBPE – odhad výkonu na základě spolehlivosti
DLE – přímý odhad ztráty

Přímý odhad ztráty

Určeno pro regresní úlohy
Odhaduje ztrátovou funkci sledovaného modelu
Jako „extra" model se používá LGBM
NannyML podporuje regresní metriky jako MAE, MSE nebo RMSE

Obrázek znázorňuje fungování algoritmu DLE. Produkční data vstupují do algoritmu, na základě predikcí a produkčních dat je vytvořena analytická sada, která je předána extra modelu pro odhad výkonu.

DLE – implementace kódu

# Initialize the DLE algorithm
estimator = nannyml.DLE(
    y_true='target',
    y_pred='y_pred',
    metrics=['rmse'],
    timestamp_column_name='timestamp',
    chunk_period='d'
    feature_column_names=features,
    tune_hyperparameters=False
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

Odhad výkonu na základě spolehlivosti

Určeno pro binární a víceřídovou klasifikaci
Využívá skóre spolehlivosti k odhadu matice záměn
Odhaduje libovolnou klasifikační metriku

Obrázek znázorňuje fungování algoritmu CBPE. Analytická sada je předána algoritmu CBPE, který predikuje matici záměn. Na základě matice záměn jsou vypočítány další klasifikační metriky.

CBPE – implementace kódu

# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='targets',
    timestamp_column_name='timestamp',
    metrics=['roc_auc'],
    chunk_period='d',
    problem_type='classification_binary',
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

Výsledky

results.plot().show()

Výsledný graf zobrazuje odhadované metriky RMSE v čase.

Pojďme si procvičit!

Monitoring Machine Learning in Python