Как справиться с дрейфом концепций?

Мониторинг систем машинного обучения

Hakim Elakhrass

Co-founder and CEO of NannyML

Обнаружение дрейфа концепций

  • Методы на основе ошибок
    • отслеживание изменений ошибки во времени
    • требуют эталонных данных

 

  • Обучение новой модели на обучающих и производственных данных
    • изменение предсказаний — признак дрейфа концепций
    • ресурсозатратно в сложных сценариях
Мониторинг систем машинного обучения

Переобучение

На изображении показаны два графика. Первый — постепенное снижение точности модели со временем. Второй — небольшое снижение точности, затем переобучение модели и её восстановление; цикл повторяется.

Плюсы :

  • модель актуальна и учитывает новые закономерности

 

Минусы :

  • высокие затраты и риск сбоев
  • не выявляет первопричину проблемы
Мониторинг систем машинного обучения

Онлайн-обучение

На изображении показан цикл онлайн-обучения: данные из приложения поступают в базу данных и сразу используются для обновления модели, которая затем снова развёртывается.

Плюсы :

  • адаптация к изменениям в реальном времени

 

Минусы :

  • требует постоянного доступа к эталонным данным
  • чувствительно к шуму
  • необходима тщательная настройка параметров
Мониторинг систем машинного обучения

Другие подходы

 

  • Специальная модель для повторяющихся событий

 

  • Взвешивание важности новых данных
    • акцент на новых данных позволяет модели адаптироваться быстрее

 

На изображении показана временная шкала: 23 ноября развёртывается обычная модель, 24 ноября — модель для «Чёрной пятницы», после чего обычная модель развёртывается снова.

Мониторинг систем машинного обучения

Давайте потренируемся!

Мониторинг систем машинного обучения

Preparing Video For Download...