Estimarea performanței

Monitorizarea Machine Learning în Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Algoritmii

  • CBPE - estimarea performanței bazată pe încredere
  • DLE - estimarea directă a pierderii
Monitorizarea Machine Learning în Python

Estimarea directă a pierderii

  • Utilizat pentru sarcini de regresie
  • Estimează funcția de pierdere a modelului monitorizat
  • LGBM este utilizat ca model „extra"
  • NannyML suportă diverse metrici de regresie: MAE, MSE sau RMSE

 

Imaginea arată cum funcționează algoritmul DLE. Mai întâi, datele de producție sunt transmise algoritmului; pe baza predicțiilor și a datelor de producție se creează setul de analiză, care este transmis modelului extra pentru a estima performanța.

Monitorizarea Machine Learning în Python

DLE - implementare cod

# Initialize the DLE algorithm
estimator = nannyml.DLE(
    y_true='target',
    y_pred='y_pred',
    metrics=['rmse'],
    timestamp_column_name='timestamp',
    chunk_period='d'
    feature_column_names=features,
    tune_hyperparameters=False
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)
Monitorizarea Machine Learning în Python

Estimarea performanței bazată pe încredere

  • Utilizat pentru clasificare binară și multiclasă

  • Folosește scorurile de încredere pentru a estima matricea de confuzie

  • Estimează orice metrică de clasificare

 

Imaginea arată cum funcționează algoritmul CBPE. Mai întâi, setul de analiză este transmis algoritmului CBPE, care estimează matricea de confuzie. Pe baza acesteia sunt calculate celelalte metrici de clasificare.

Monitorizarea Machine Learning în Python

CBPE - implementare cod

# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='targets',
    timestamp_column_name='timestamp',
    metrics=['roc_auc'],
    chunk_period='d',
    problem_type='classification_binary',
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)
Monitorizarea Machine Learning în Python

Rezultate

results.plot().show()

Graficul rezultat afișează metricile RMSE estimate în timp.

Monitorizarea Machine Learning în Python

Să exersăm!

Monitorizarea Machine Learning în Python

Preparing Video For Download...