Автоматизация в стратегиях развёртывания MLOps

Полностью автоматизированный MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Развёртывание модели — сервис предсказаний

Изображение эталонной архитектуры MLOps с выделенным элементом: сервис предсказаний.

Полностью автоматизированный MLOps

Сервисы предсказаний — обзор режимов

Предсказания можно получать в режимах:

  • Пакетная обработка
  • Потоковая обработка
  • Реальное время
  • На периферии
Полностью автоматизированный MLOps

Сервис предсказаний — пакетная обработка

$$

  • Большой объём предсказаний

$$

  • Периодическое расписание

$$

  • Запуск по событию

$$

$$

$$

Схема пакетной обработки. Все входные данные поступают в движок пакетной обработки. Все результаты выдаются одновременно после обработки всего входного потока.

Полностью автоматизированный MLOps

Сервис предсказаний — потоковая обработка

$$

  • Непрерывный поток входных данных

$$

  • Непрерывная выдача предсказаний

$$

$$

Схема потоковой обработки. Элементы непрерывно поступают в движок потоковой обработки. После обработки результаты непрерывно передаются в выходной поток.

Полностью автоматизированный MLOps

Сервис предсказаний — реальное время

$$

  • Одна запись

$$

  • Мгновенные предсказания

$$

$$

realtime_interaction.png

Полностью автоматизированный MLOps

Сервис предсказаний — периферийные вычисления

$$

  • Мобильные устройства

$$

  • IoT-устройства

$$

  • Снижение задержки

$$

Изображение IoT-приложения, запущенного на планшетном устройстве.

Полностью автоматизированный MLOps

Стратегии развёртывания

$$

Тип обслуживания ML определяет способ развёртывания и обновления сервисов предсказаний

Стратегии развёртывания моделей:

  • Теневое развёртывание
  • Канареечное развёртывание
  • A/B тестирование
  • Blue/Green
Полностью автоматизированный MLOps

A/B тестирование

Схема A/B тестирования в развёрнутом сервисе предсказаний. Запросы на предсказания поступают в балансировщик нагрузки. Балансировщик распределяет запросы между моделями A и B. Производительность моделей непрерывно отслеживается.

Полностью автоматизированный MLOps

A/B тестирование

Схема A/B тестирования. После достаточно длительного мониторинга модель B показала лучшую производительность. Система переключает все запросы на эту, наиболее эффективную модель.

Полностью автоматизированный MLOps

Теневое развёртывание

Схема теневого развёртывания. Запросы на предсказания поступают в балансировщик нагрузки. Балансировщик передаёт запросы как боевой, так и теневой модели. Только боевая модель возвращает предсказания. Производительность обеих моделей непрерывно отслеживается.

Полностью автоматизированный MLOps

Blue/Green развёртывание

Схема Blue/Green развёртывания. Модель работает в продуктовой среде в синем окружении.

Полностью автоматизированный MLOps

Blue/Green развёртывание

Обновлённая модель развёртывается в реплике синего окружения — зелёном окружении. Запросы на предсказания начинают автоматически перенаправляться из синего в зелёное окружение через модуль переключения трафика.

Полностью автоматизированный MLOps

Blue/Green развёртывание

Схема Blue/Green развёртывания. Весь трафик постепенно и автоматически переключается из синего в зелёное окружение.

Полностью автоматизированный MLOps

Blue/Green развёртывание

После переключения всего трафика синее окружение можно удалить. Зелёное окружение с обновлённой моделью становится новой продуктовой средой.

Полностью автоматизированный MLOps

Развёртывание и обновление сервисов предсказаний

$$

Тип модели определяет стратегию развёртывания

Таблица со стратегиями развёртывания и их свойствами по 4 параметрам: отсутствие простоя, условный запуск, время отката и дополнительные затраты.

Полностью автоматизированный MLOps

Давайте потренируемся!

Полностью автоматизированный MLOps

Preparing Video For Download...