Оркестрация в MLOps

Полностью автоматизированный MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Ключевой компонент систем MLOps

Изображение эталонной архитектуры MLOps с двумя выделенными элементами: оркестрированные эксперименты в среде разработки и автоматизированный пайплайн в продакшене.

Модульность и повторное использование

Рисунок с двумя ML-пайплайнами: верхний — в среде разработки и экспериментов, нижний — в продакшене.

Оркестрация и автоматизация

ML-пайплайны применяются в:

Разработке и экспериментах

Рисунок компонента: оркестрированный эксперимент.

Продакшене

Рисунок автоматизированного ML-пайплайна.

Направленные ациклические графы в MLOps

Графическое представление пайплайнов
Шаги пайплайна — узлы графа
Зависимости между шагами — рёбра

Изображение простого DAG с взаимосвязанными шагами ML-пайплайна.

Что такое оркестрация в MLOps?

Управление и автоматизация потоков задач

Планирование и мониторинг задач

Управление зависимостями и потоками данных

ML-пайплайны — разработка и эксперименты

Рисунок оркестрированного ML-пайплайна в среде разработки и экспериментов. Пайплайн запускается специалистом по данным и управляется компонентом-оркестратором.

Управление задачами обучения модели от начала до конца
Корректный порядок выполнения, запись и логирование
Параллельное проведение экспериментов

ML-пайплайны — продакшен

Рисунок автоматизированного ML-пайплайна в продакшене. Пайплайн запускается компонентом автоматического триггера и управляется компонентом-оркестратором.

Помогает автоматизировать развёртывание моделей
Управляет и выполняет шаги пайплайна
Обеспечивает стабильное и надёжное развёртывание

Давайте потренируемся!

Полностью автоматизированный MLOps