Автоматизація в стратегіях розгортання MLOps

Повністю автоматизований MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Розгортання моделей — сервіс передбачень

Зразкова архітектура MLOps з підсвіченим елементом: сервіс передбачень.

Повністю автоматизований MLOps

Сервіси передбачень — огляд режимів

Передбачення можна надавати в режимах:

  • Пакетний
  • Потоковий
  • У реальному часі
  • На периферії
Повністю автоматизований MLOps

Сервіс передбачень — пакетна видача

$$

  • Велика кількість передбачень

$$

  • Періодичні розклади

$$

  • Запуск подіями

$$

$$

$$

Схема пакетної обробки. Увесь вхід подається до рушія пакетної обробки. Увесь вихід надходить одночасно після обробки всього входу.

Повністю автоматизований MLOps

Сервіс передбачень — потокова видача

$$

  • Безперервний вхід даних

$$

  • Безперервна видача передбачень

$$

$$

Схема потокової обробки. Елементи безперервно надходять до рушія потокової обробки. Після обробки результати безперервно надсилаються у вихідний потік.

Повністю автоматизований MLOps

Сервіс передбачень — реальний час

$$

  • Один запис

$$

  • Миттєві передбачення

$$

$$

realtime_interaction.png

Повністю автоматизований MLOps

Сервіс передбачень — на периферії

$$

  • Мобільні пристрої

$$

  • Пристрої IoT

$$

  • Зменшена затримка

$$

Зображення застосунку IoT на планшеті.

Повністю автоматизований MLOps

Стратегії розгортання

$$

Тип сервісу ML визначає, як розгортати й оновлювати сервіси передбачень

Стратегії розгортання моделей включають:

  • Тіньове розгортання
  • Канаркове розгортання
  • A/B‑тестування
  • Blue/Green
Повністю автоматизований MLOps

A/B‑тестування

Схема A/B‑тестування в розгорнутому сервісі передбачень. Запити надсилаються на балансувальник навантаження, який розподіляє їх між моделями A та B. Ефективність моделей безперервно відстежується.

Повністю автоматизований MLOps

A/B‑тестування

Схема розгортання з A/B‑тестуванням. Після достатнього моніторингу модель B показала кращі результати. Система переключає всі запити на найкращу модель.

Повністю автоматизований MLOps

Тіньове розгортання

Схема тіньового розгортання. Запити надсилаються на балансувальник, який передає їх і робочій, і тіньовій моделям. Лише робоча модель повертає передбачення. Ефективність обох моделей безперервно відстежується.

Повністю автоматизований MLOps

Розгортання Blue/Green

Схема Blue/Green. Модель працює в продакшені в синьому середовищі.

Повністю автоматизований MLOps

Розгортання Blue/Green

Оновлену модель розгорнуто в копії синього середовища — це зелене середовище. Модуль перемикання трафіку автоматично починає перенаправляти запити із синього на зелене.

Повністю автоматизований MLOps

Розгортання Blue/Green

Схема Blue/Green. Увесь трафік поступово й автоматично перемикається із синього на зелене середовище.

Повністю автоматизований MLOps

Розгортання Blue/Green

Після повного перемикання трафіку синє середовище можна видалити. Зелене середовище з оновленою моделлю стає новим продакшеном.

Повністю автоматизований MLOps

Розгортання та оновлення сервісів передбачень

$$

Тип моделі визначає стратегію розгортання

Таблиця зі стратегіями розгортання та їхніми властивостями у 4 вимірах: без простою, залежність від умов, час відкату та додаткові витрати.

Повністю автоматизований MLOps

Давайте потренуємось!

Повністю автоматизований MLOps

Preparing Video For Download...