Этапы жизненного цикла MLOps

Полностью автоматизированный MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Жизненный цикл MLOps

Жизненный цикл MLOps включает три ключевых этапа:

Схема жизненного цикла MLOps. Три связанных круговых цикла. Названия кругов слева направо: Design, Development, Deployment.

  • Три этапа носят итеративный характер
  • Три этапа взаимосвязаны и зависят друг от друга
  • Переход между этапами в обоих направлениях — норма
Полностью автоматизированный MLOps

MLOps в жизненном цикле ML — проектирование

Этап проектирования включает:

  • Понимание бизнеса
    $$
  • Понимание данных
    $$
  • Проектирование ML-решения

$$

Рисунок с круговым циклом и словом Design в центре

Полностью автоматизированный MLOps

MLOps в жизненном цикле ML — проектирование

Этап проектирования включает:

  • Понимание бизнеса
    $$
    • Анализ бизнес-контекста
    • Определение бизнес-целей

$$

Рисунок с круговым циклом и словом Design в центре

Полностью автоматизированный MLOps

MLOps в жизненном цикле ML — проектирование

Этап проектирования включает:

  • Понимание данных
    $$
    • Исследование данных
    • Визуализация данных

$$

Рисунок с круговым циклом и словом Design в центре

Полностью автоматизированный MLOps

MLOps в жизненном цикле ML — проектирование

Этап проектирования включает:

  • Проектирование системы
    $$
    • Архитектура системы
      • Безопасность данных
      • Конфиденциальность данных

$$

Рисунок с круговым циклом и словом Design в центре

Полностью автоматизированный MLOps

MLOps в жизненном цикле ML — проектирование

Этап проектирования включает:

  • Понимание бизнеса
    $$
  • Понимание данных
    $$
  • Проектирование ML-решения

$$

Большую часть этапа проектирования нельзя автоматизировать

$$

Рисунок с круговым циклом и словом Design в центре

Полностью автоматизированный MLOps

MLOps в жизненном цикле ML — разработка

Этап экспериментов и разработки ML включает: $$

  • Разработка прототипов (PoC)
    $$
  • Инженерия данных
    $$
  • Разработка модели

$$

Рисунок с круговым циклом и словом Development в центре

Полностью автоматизированный MLOps

MLOps в жизненном цикле ML — разработка

Этап экспериментов и разработки ML включает:

  • Разработка прототипов (PoC)
    $$
    • Сочетание ручных процессов и автоматизации
    • Использование фреймворков

$$

Рисунок с круговым циклом и словом Development в центре

Полностью автоматизированный MLOps

MLOps в жизненном цикле ML — разработка

Этап экспериментов и разработки ML включает:

  • Инженерия данных (PoC)
    $$
    • Автоматизация → контроль качества

$$

Рисунок с круговым циклом и словом Development в центре

Полностью автоматизированный MLOps

MLOps в жизненном цикле ML — разработка

Этап экспериментов и разработки ML включает:

  • Разработка модели (PoC)
    $$
    • Отслеживание экспериментов
    • Автоматизированное обучение
    • Автоматизированный подбор гиперпараметров

$$

Рисунок с круговым циклом и словом Development в центре

Полностью автоматизированный MLOps

MLOps в жизненном цикле ML — развёртывание

Этап развёртывания и эксплуатации ML включает:

  • Вывод в production
    • Тестирование
    • Версионирование
    • Непрерывная доставка
    • Мониторинг

$$

Рисунок с круговым циклом и словом Deployment в центре

Полностью автоматизированный MLOps

Масштабирование: автоматизация прежде всего

Мы применяем оптимизацию процессов, лучшие практики и автоматизацию

Схема жизненного цикла MLOps. Три связанных круговых цикла. Названия кругов слева направо: Design, Development, Deployment.

При отсутствии автоматизации — оптимизация процессов:

  • CRISP-DM
  • TDSP [1]
1 https://www.ibm.com/docs/en/spss-modeler/saas?topic=dm-crisp-help-overview
Полностью автоматизированный MLOps

Оптимизация процессов и лучшие практики

$$

Этап проектирования

$$

  • Лучшие практики

    • Привлечение экспертов предметной области

    • Участие бизнес-стейкхолдеров

    • Получение обратной связи от конечных пользователей

$$

Этап разработки

$$

  • Лучшие практики

    • Писать чистый код
    • Документировать работу
Полностью автоматизированный MLOps

Давайте потренируемся!

Полностью автоматизированный MLOps

Preparing Video For Download...