Моніторинг моделей машинного навчання
Концепції MLOps
Folkert Stijnman
ML Engineer
Моніторинг і перенавчання
Моніторинг
Види моніторингу
Статистичний моніторинг: зосереджується на вхідних і вихідних даних, включно з передбаченнями
Приклади: клієнт X має 72% ймовірність відтоку, клієнт Y має 31% ймовірність не піти
Види моніторингу
Обчислювальний моніторинг: зосереджується на технічних метриках
Приклади: завантаження CPU сервера, кількість вхідних запитів, кількість передбачень, простої сервера
Статистичний і обчислювальний моніторинг
Цикл зворотного зв'язку
Feedback loop: процес, у якому ground truth використовують для поліпшення моделі машинного навчання
Моніторинг у продакшні
