Оцінювання продуктивності

Моніторинг Machine Learning у Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Алгоритми

CBPE — confidence based performance estimation
DLE — direct loss estimation

Пряме оцінювання втрат

Використовується для задач регресії
Оцінює функцію втрат моніторингової моделі
Як «додаткову» модель використовують LGBM
NannyML підтримує різні метрики регресії, як-от MAE, MSE або RMSE

Зображення показує роботу алгоритму DLE. Спершу виробничі дані надходять до алгоритму, і на основі прогнозів та виробничих даних створюють набір для аналізу. Набір для аналізу передають додатковій моделі для прогнозування продуктивності.

DLE — реалізація в коді

# Initialize the DLE algorithm
estimator = nannyml.DLE(
    y_true='target',
    y_pred='y_pred',
    metrics=['rmse'],
    timestamp_column_name='timestamp',
    chunk_period='d'
    feature_column_names=features,
    tune_hyperparameters=False
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

Оцінювання продуктивності на основі впевненості

Використовується для бінарної та багатокласової класифікації
Використовує оцінки впевненості для оцінки матриці похибок
Оцінює будь-яку метрику класифікації

Зображення показує роботу алгоритму CBPE. Спочатку ми передаємо набір для аналізу в CBPE і прогнозуємо матрицю похибок. На основі матриці похибок обчислюються інші метрики класифікації.

CBPE — реалізація в коді

# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='targets',
    timestamp_column_name='timestamp',
    metrics=['roc_auc'],
    chunk_period='d',
    problem_type='classification_binary',
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

Результати

results.plot().show()

Підсумковий графік показує оцінені метрики RMSE у часі.

Давайте потренуємось!

Моніторинг Machine Learning у Python