Режимы обслуживания

MLOps: развёртывание и жизненный цикл моделей

Nemanja Radojkovic

Senior Machine Learning Engineer

модель как программное обеспечение

MLOps: развёртывание и жизненный цикл моделей

перспектива пользователя

MLOps: развёртывание и жизненный цикл моделей

сервис как любой другой

MLOps: развёртывание и жизненный цикл моделей

пример сервиса

MLOps: развёртывание и жизненный цикл моделей

сервис модели

MLOps: развёртывание и жизненный цикл моделей

Serving и serving mode

  • Предоставление сервиса предсказаний == Model serving
  • Конкретный способ реализации == Serving mode

 

Выбирайте осознанно!

MLOps: развёртывание и жизненный цикл моделей

когда должен работать сервис

MLOps: развёртывание и жизненный цикл моделей

по расписанию

MLOps: развёртывание и жизненный цикл моделей

по запросу

MLOps: развёртывание и жизненный цикл моделей

пакетное предсказание 1

MLOps: развёртывание и жизненный цикл моделей

пакетное предсказание 2

MLOps: развёртывание и жизненный цикл моделей

определение пакетного режима

MLOps: развёртывание и жизненный цикл моделей

другие названия

MLOps: развёртывание и жизненный цикл моделей

Пакетное предсказание: проще — лучше

  • Пакетное предсказание — наиболее простой вариант
  • Если задача позволяет, выбирайте его
  • Хороший пример: ежемесячное формирование прогнозов продаж
MLOps: развёртывание и жизненный цикл моделей

предсказание по запросу 1

MLOps: развёртывание и жизненный цикл моделей

синонимы предсказания по запросу

MLOps: развёртывание и жизненный цикл моделей

важность времени при запросе

MLOps: развёртывание и жизненный цикл моделей

технический термин

MLOps: развёртывание и жизненный цикл моделей

время запроса

MLOps: развёртывание и жизненный цикл моделей

время ответа

MLOps: развёртывание и жизненный цикл моделей

Допустимая задержка

Что приемлемо?

  • < 1 часа?
  • < 1 минуты?
  • < 1 секунды?
  • < 1 миллисекунды?
MLOps: развёртывание и жизненный цикл моделей

Предсказание близко к реальному времени (потоковая обработка)

Допустимая задержка ~= X минут

Также известно как потоковая обработка (запросы и ответы образуют «потоки данных»)

MLOps: развёртывание и жизненный цикл моделей

Предсказание в реальном времени

Допустимая задержка < 1 сек

Пример:

  • Обнаружение мошенничества с банковскими картами
  • Запоздалое предсказание практически бесполезно
MLOps: развёртывание и жизненный цикл моделей

Когда задержка в приоритете

  • Более слабая, но быстрая модель ценнее, чем сильная, но медленная
  • Развёртывание моделей на устройствах пользователей снижает задержку => «граничное развёртывание»
    • Смартфон-приложения с ML:
      • навигационные приложения
      • разблокировка по распознаванию лица
      • фильтры изображений
MLOps: развёртывание и жизненный цикл моделей

Давайте потренируемся!

MLOps: развёртывание и жизненный цикл моделей

Preparing Video For Download...