Мониторинг и оповещения

MLOps: развёртывание и жизненный цикл моделей

Nemanja Radojkovic

Senior Machine Learning Engineer

внешний мир

MLOps: развёртывание и жизненный цикл моделей

ошибки в сервисе

MLOps: развёртывание и жизненный цикл моделей

выявление ошибок

MLOps: развёртывание и жизненный цикл моделей

множество взаимосвязанных элементов

MLOps: развёртывание и жизненный цикл моделей

точки отказа 2

MLOps: развёртывание и жизненный цикл моделей

оповещение

MLOps: развёртывание и жизненный цикл моделей

смотрите здесь

MLOps: развёртывание и жизненный цикл моделей

логирование 1

MLOps: развёртывание и жизненный цикл моделей

логирование 2

MLOps: развёртывание и жизненный цикл моделей

логирование 3

MLOps: развёртывание и жизненный цикл моделей

конвейер данных 1

MLOps: развёртывание и жизненный цикл моделей

валидация данных 2

MLOps: развёртывание и жизненный цикл моделей

валидация профилей данных

MLOps: развёртывание и жизненный цикл моделей

Статистическая валидация

Может быть:

  • слишком чувствительной
  • недостаточно информативной

 

Риск

  • Слишком много оповещений
  • «Усталость от оповещений»
  • Важные оповещения остаются незамеченными
MLOps: развёртывание и жизненный цикл моделей

уведомить всех

MLOps: развёртывание и жизненный цикл моделей

Учитесь на своём опыте

После устранения инцидента => зафиксируйте первопричину и шаги решения

Пример от Google[1]:

  • За 10 лет записано и проанализировано множество инцидентов
  • > 2/3 не были связаны с МО!
1 How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian
MLOps: развёртывание и жизненный цикл моделей

централизованный мониторинг

MLOps: развёртывание и жизненный цикл моделей

Давайте потренируемся!

MLOps: развёртывание и жизненный цикл моделей

Preparing Video For Download...