Устранение проблем

Мониторинг машинного обучения на Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Ничего не предпринимать

  • Подходит при наличии хорошо работающей системы мониторинга
  • Требует анализа альтернативных издержек и глубокого понимания задачи
  • Пример: завышенная оценка числа звонков в колл-центре
Мониторинг машинного обучения на Python

Переобучение модели

  • Обучение на старых и новых данных
    • Повышает устойчивость модели
    • Охватывает как можно больше распределений
  • Дообучение старой модели на новых данных
    • Простое переобучение модели на новых данных
    • Эффективнее, чем обучение новой модели с нуля
  • Взвешивание данных
    • Повышенный вес для последних данных
Мониторинг машинного обучения на Python

Откат к предыдущей модели

На изображении показана замена текущей модели в продакшене предыдущей моделью из реестра моделей.

Мониторинг машинного обучения на Python

Изменение бизнес-процесса

  • Изменить бизнес-правила
  • Провести ручной анализ предсказаний

На изображении показаны полки супермаркета.

Мониторинг машинного обучения на Python

Давайте потренируемся!

Мониторинг машинного обучения на Python

Preparing Video For Download...