Оцінювання продуктивності

Основи моніторингу Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Огляд

Два алгоритми оцінювання продуктивності:

  • CBPE — для задач класифікації
  • DLE — для задач регресії
Основи моніторингу Machine Learning

CBPE — як це працює

  • Оцінює матрицю неточностей

 

  • Дозволяє обчислювати метрики класифікації: accuracy, precision, recall

 

  • Фіксує вплив зсуву розподілу ознак на модель

 

Алгоритм CBPE показано на зображенні: перша модель робить передбачення для прикладу, і за значенням визначається клас. Наприклад, якщо модель видає 0.9, клас позитивний, бо значення вище 0.5. Якщо нижче 0.5 — клас негативний. Так обробляють усі приклади набору даних, а отримані впевненості агрегують, щоб побудувати оцінену матрицю неточностей.

Основи моніторингу Machine Learning

CBPE — зауваги

  • В відсутніх для спостереження регіонах немає зсуву розподілу ознак

 

  • У вхідних даних немає дрейфу концепції

 

  • Потрібне калібрування ймовірностей
Основи моніторингу Machine Learning

DLE — як це працює

  • Прогнозує абсолютну помилку моделі

 

  • Використовує зовнішню дочірню модель

 

  • Дозволяє обчислювати метрики регресії: MAE, MSE, MSLE

 

  • Виявляє наявність зсуву розподілу ознак у вхідних даних

Зображення описує процес оцінювання продуктивності для регресії в продакшені. Спершу аналітичні дані подають у модель для отримання прогнозів. Ці прогнози разом із даними передають у дочірню модель, яка прогнозує помилку. На основі прогнозу помилки обчислюють інші метрики регресії для оцінки роботи моделі.

Основи моніторингу Machine Learning

DLE — зауваги

  • В відсутніх для спостереження регіонах немає зсуву розподілу ознак

 

  • У вхідних даних немає дрейфу концепції

 

  • Додаткова складність
Основи моніторингу Machine Learning

Давайте потренуємось!

Основи моніторингу Machine Learning

Preparing Video For Download...