Зачем нужен мониторинг модели

Мониторинг систем машинного обучения

Hakim Elakhrass

Co-founder and CEO of NannyML

Машинное обучение в продакшене

Типичный процесс разработки

Схема из четырёх этапов: определение проекта, подготовка данных, обучение модели и её развёртывание.

После развёртывания

Обновлённая схема процесса разработки: добавлен этап мониторинга после развёртывания, а также стрелки, связывающие мониторинг с этапами подготовки данных, обучения и развёртывания модели — для итеративного улучшения на основе результатов наблюдения.

Мониторинг систем машинного обучения

Снижение риска сбоя

Кейс Zillow

Табличка «Продаётся» перед домом.

Причины сбоя модели:

  • Проблемы в программном обеспечении
  • Дрейф входных данных
  • Изменение зависимости между признаками и целевыми переменными
Мониторинг систем машинного обучения

Максимизация бизнес-эффекта

 

  • Оптимизация модели в соответствии с бизнес-целями

 

  • Снижение затрат на облачные ресурсы

 

Пирамида из шести деревянных блоков: в основании — KPI, выше — рост, достижение целей и повышение эффективности.

Логотип облака, составленный из девяти деревянных блоков.

Мониторинг систем машинного обучения

Повышение безопасности ИИ

Три проблемы безопасности:

  • Предвзятость — справедливые результаты для разных групп пользователей

 

  • Состязательные атаки — обнаружение злонамеренного искажения входных данных

 

  • Отсутствие объяснимости — понимание того, как модель принимает решения

 

Деревянный блок с весами, сдвигаемый вперёд, — символ большей справедливости и снижения предвзятости.

Деревянный блок с замком, сдвигаемый вперёд, — символ повышенной безопасности.

Деревянный блок, сдвигаемый вперёд: от изображения головы отходят линии — символ роста понимания интеллектуальной системы.

Мониторинг систем машинного обучения

Изменение мира с помощью данных

Процесс автоматизации

Автоматизированный производственный конвейер.

Мониторинг систем машинного обучения

Давайте потренируемся!

Мониторинг систем машинного обучения

Preparing Video For Download...