Идеальный процесс мониторинга

Мониторинг систем машинного обучения

Hakim Elakhrass

Co-founder and CEO of NannyML

Процессы мониторинга

Традиционный процесс мониторинга

  • Расчёт технических показателей

  • Оповещения на основе сдвигов во входных данных

  • Приводит к большому числу ложных тревог

Идеальный процесс мониторинга

  • Мониторинг технических показателей

    • Расчёт и оценка производительности

  • Анализ первопричин

    • Позволяет связать сдвиги со снижением производительности

 

Идеальный процесс мониторинга: первый шаг — мониторинг производительности; при её деградации проводится анализ первопричин, после чего устраняется проблема.

Мониторинг систем машинного обучения

Мониторинг производительности

Включает:

  • Расчёт производительности — технические метрики, например точность

 

  • Оценка производительности — если истинные метки недоступны

 

  • Измерение бизнес-эффекта — отслеживание ключевых показателей

  График точности по времени: точность снижается и выходит за установленный порог.

График ключевых показателей по времени: значения остаются в пределах установленных порогов.

Мониторинг систем машинного обучения

Анализ первопричин

Цель — исследовать:

 

  • Ковариатный сдвиг — изменения в распределении входных данных

 

  • Концептуальный дрейф — изменения в связи между признаками и целевыми переменными

График показывает границу решений между синими и красными кружками для работающей модели.

График демонстрирует сдвиг синих кружков за границу решений, что указывает на ковариатный сдвиг.

График иллюстрирует изменение границы решений, что свидетельствует о концептуальном дрейфе.

Мониторинг систем машинного обучения

Устранение проблем

Возможные решения:

  • Переобучение — требует дополнительных данных и вычислительных ресурсов

 

  • Пересмотр задачи — сделать шаг назад и переосмыслить применяемые методы

 

  • Изменение последующих процессов — корректировка процессов, использующих предсказания

  Изображение: цифровой мозг, символизирующий модель машинного обучения, и знак «плюс», соединённый с базой данных, — процесс переобучения модели на новых данных.

Изображение: доска с вопросами об инженерии признаков, используемых признаках и линейной регрессии.

Изображение: сотрудник вручную проверяет что-то на компьютере.

Мониторинг систем машинного обучения

Давайте потренируемся!

Мониторинг систем машинного обучения

Preparing Video For Download...