Сложности мониторинга ML-моделей

Мониторинг систем машинного обучения

Hakim Elakhrass

Co-founder and CEO of NannyML

Компоненты ML-проекта

Диаграмма Венна с тремя кругами, представляющими области разработки программного обеспечения, аналитики данных и машинного обучения; на пересечении всех трёх — область науки о данных.

Мониторинг систем машинного обучения

Модель перестаёт делать предсказания

Возможные проблемы:

  • Языковые барьеры — совмещение разных языков программирования с помощью «склеивающего» кода

 

  • Поддержка кода — проблемы совместимости при обновлении зависимостей

 

  • Проблемы масштабирования — инфраструктура не справляется с ростом нагрузки
Мониторинг систем машинного обучения

Модель выдаёт неверные предсказания

Ковариатный сдвиг

  • Изменение в распределении входных данных
  • Можно обнаружить с помощью статистических методов
  • Не каждый сдвиг влияет на качество модели

 

График плотности распределения, сравнивающий возраст клиентов в обучающей и производственной выборках: обучающая выборка смещена в сторону молодых клиентов, производственная имеет схожую форму, но с пиком в области старшего возраста.

Концептуальный дрейф

  • Изменение связи между входными данными и целевой переменной
  • Сложно обнаружить
  • Почти всегда влияет на бизнес-результаты модели

На графике показана зависимость пожизненной ценности клиента (CLV) от признака «Возраст» для обучающей и производственной выборок. В продакшне характер зависимости меняется — это признак концептуального дрейфа.

Мониторинг систем машинного обучения

Доступность разметки

Изображение магазина одежды.

Мониторинг систем машинного обучения

Давайте потренируемся!

Мониторинг систем машинного обучения

Preparing Video For Download...