Мониторинг ML-сервисов

MLOps: развёртывание и жизненный цикл моделей

Nemanja Radojkovic

Senior Machine Learning Engineer

Поддержание качества

  • Платящие клиенты == ожидания качества
  • Обеспечение качества начинается с контроля качества
  • Мониторинг
MLOps: развёртывание и жизненный цикл моделей

Показатели производительности

Базовые показатели работоспособности

  • Сервис работает?
  • Количество запросов за период?
  • Распределение задержек?

 

Ключевая метрика качества

  • Прогностическая производительность

Как ухудшаются ML-модели?

MLOps: развёртывание и жизненный цикл моделей

простой классификатор

MLOps: развёртывание и жизненный цикл моделей

обученная граница

MLOps: развёртывание и жизненный цикл моделей

обученная модель

MLOps: развёртывание и жизненный цикл моделей

мир меняется

MLOps: развёртывание и жизненный цикл моделей

изменение 2

MLOps: развёртывание и жизненный цикл моделей

смещённая граница

MLOps: развёртывание и жизненный цикл моделей

дрейф концепции

MLOps: развёртывание и жизненный цикл моделей

отсутствие изменений ведёт к деградации

MLOps: развёртывание и жизненный цикл моделей

как обнаружить

MLOps: развёртывание и жизненный цикл моделей

MLOps: развёртывание и жизненный цикл моделей

проблема

MLOps: развёртывание и жизненный цикл моделей

по сценарию использования

MLOps: развёртывание и жизненный цикл моделей

не бывает бесплатно

MLOps: развёртывание и жизненный цикл моделей

использовать имеющееся

MLOps: развёртывание и жизненный цикл моделей

изменения входных признаков

MLOps: развёртывание и жизненный цикл моделей

ковариатный сдвиг

MLOps: развёртывание и жизненный цикл моделей

ограничения мониторинга входных данных

MLOps: развёртывание и жизненный цикл моделей

мониторинг выходных данных

MLOps: развёртывание и жизненный цикл моделей

Давайте потренируемся!

MLOps: развёртывание и жизненный цикл моделей

Preparing Video For Download...