Оценка производительности

Мониторинг машинного обучения на Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Алгоритмы

  • CBPE — оценка производительности на основе уверенности
  • DLE — прямая оценка потерь
Мониторинг машинного обучения на Python

Прямая оценка потерь

  • Используется для задач регрессии
  • Оценивает функцию потерь отслеживаемой модели
  • LGBM применяется как «дополнительная» модель
  • NannyML поддерживает метрики регрессии: MAE, MSE, RMSE

 

На изображении показана схема работы алгоритма DLE. Производственные данные поступают в алгоритм, на основе предсказаний и производственных данных формируется набор для анализа, который затем передаётся в дополнительную модель для оценки производительности.

Мониторинг машинного обучения на Python

DLE — реализация в коде

# Initialize the DLE algorithm
estimator = nannyml.DLE(
    y_true='target',
    y_pred='y_pred',
    metrics=['rmse'],
    timestamp_column_name='timestamp',
    chunk_period='d'
    feature_column_names=features,
    tune_hyperparameters=False
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)
Мониторинг машинного обучения на Python

Оценка производительности на основе уверенности

  • Используется для задач бинарной и многоклассовой классификации

  • Применяет оценки уверенности для построения матрицы ошибок

  • Оценивает любую метрику классификации

 

На изображении показана схема работы алгоритма CBPE. Набор для анализа передаётся в алгоритм CBPE, который предсказывает матрицу ошибок. На основе матрицы ошибок вычисляются остальные метрики классификации.

Мониторинг машинного обучения на Python

CBPE — реализация в коде

# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='targets',
    timestamp_column_name='timestamp',
    metrics=['roc_auc'],
    chunk_period='d',
    problem_type='classification_binary',
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)
Мониторинг машинного обучения на Python

Результаты

results.plot().show()

На графике показаны расчётные значения метрики RMSE во времени.

Мониторинг машинного обучения на Python

Давайте потренируемся!

Мониторинг машинного обучения на Python

Preparing Video For Download...