Как бизнес может полностью подготовиться к MLOps

MLOps для бизнеса

Arne Jonas Warnke

Head of Emerging Curriculum

На каком уровне MLOps мы находимся?

$$

Улучшение наших возможностей MLOps требует

  • Оценки
  • Измерения

Как это сделать?

$$

Лупа над документами

MLOps для бизнеса

Модели зрелости MLOps

Microsoft:

  • 5 уровней

охватывают

  • Процессы, технологии, людей

Google:

  • 3 уровня

охватывают

  • Степень автоматизации

$$

Логотип Microsoft

$$

Логотип Google

MLOps для бизнеса

Модель зрелости MLOps от Microsoft — уровень 0

$$

Уровень Описание Особенности
0 Нет MLOps Разрозненные команды, ручные процессы
1 https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model
MLOps для бизнеса

Модель зрелости MLOps от Microsoft — уровень 1

$$

Уровень Описание Особенности
0 Нет MLOps Разрозненные команды, ручные процессы
1 DevOps без MLOps Разрозненные команды, автосбор данных, первые автотесты
1 https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model
MLOps для бизнеса

Модель зрелости MLOps от Microsoft — уровень 2

$$

Уровень Описание Особенности
0 Нет MLOps Разрозненные команды, ручные процессы
1 DevOps без MLOps Разрозненные команды, автосбор данных, первые автотесты
2 Автоматизированное обучение Улучшение взаимодействия, воспроизводимость, упрощённое развёртывание
1 https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model
MLOps для бизнеса

Модель зрелости MLOps от Microsoft — уровень 3

$$

Уровень Описание Особенности
0 Нет MLOps Разрозненные команды, ручные процессы
1 DevOps без MLOps Разрозненные команды, автосбор данных, первые автотесты
2 Автоматизированное обучение Улучшение взаимодействия, воспроизводимость, упрощённое развёртывание
3 Автоматизированное развёртывание Хорошее взаимодействие, полная воспроизводимость, трассируемость, автотестирование
1 https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model
MLOps для бизнеса

Модель зрелости MLOps от Microsoft — уровень 4

$$

Уровень Описание Особенности
0 Нет MLOps Разрозненные команды, ручные процессы
1 DevOps без MLOps Разрозненные команды, автосбор данных, первые автотесты
2 Автоматизированное обучение Улучшение взаимодействия, воспроизводимость, упрощённое развёртывание
3 Автоматизированное развёртывание Хорошее взаимодействие, полная воспроизводимость, трассируемость, автотестирование
4 Автоматизированное переобучение Полное взаимодействие, отлаженные операции, минимальные простои
1 https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model
MLOps для бизнеса

Измерение прогресса на пути к MLOps

$$

Модель зрелости — это хорошо,

  • Но как постоянно измерять прогресс?
  • KPI для MLOps?

Изображение процесса KPI

MLOps для бизнеса

Возможные KPI для MLOps

$$

  • Частота развёртываний
    • Сколько релизов выпускается в неделю?
  • Время реагирования на инциденты
    • Сколько времени требуется для восстановления приложения после сбоя?
  • Время выполнения запросов на изменение
    • Например, время на добавление новой функции.
1 https://cloud.google.com/blog/products/devops-sre/using-the-four-keys-to-measure-your-devops-performance
MLOps для бизнеса

Давайте потренируемся!

MLOps для бизнеса

Preparing Video For Download...