Как успешно работают команды MLOps

MLOps для бизнеса

Arne Jonas Warnke

Head of Emerging Curriculum

Ограниченное влияние машинного обучения (прошлое)

Раньше компании применяли экспериментальный подход к машинному обучению.

Основные проблемы:

  • Разрозненность команд
  • Модели редко попадали в продакшн
  • Долгий цикл разработки
  • Почти полное отсутствие автоматизации
  • Низкая воспроизводимость результатов

Чёрно-белое фото человека за компьютером 1980-х годов

MLOps для бизнеса

Как успешно работают команды MLOps

$$

В этом видео

  • Меньше акцента на технологиях
  • Взгляд на успешные практики DevOps
MLOps для бизнеса

Напоминание: DevOps

Цель DevOps

  • Укрепить взаимодействие разработчиков и операционных команд

Разработка направлена на

  • Улучшение пользовательского опыта
  • Реализацию новых бизнес-требований

Операционная команда стремится к

  • Стабильности и удобству сопровождения

DevOps

1 Kim et al. (2021). The DevOps handbook: How to create world-class agility, reliability, & security in technology organizations. IT Revolution.
MLOps для бизнеса

Распространённые практики DevOps

  • Непрерывная доставка
    • Частые, небольшие и надёжные релизы кода
    • Например, регулярное добавление небольших функций (или изменений кода)
  • Автоматизация тестирования и выпуска
  • Мониторинг и простой «откат» изменений
  • Непрерывная интеграция

$$ Схема процесса выпуска программного обеспечения

1 Leite et al. (2019). A survey of DevOps concepts and challenges. ACM Computing Surveys (CSUR), 52(6), 1-35.
MLOps для бизнеса

Работа со сбоями

Цикл DevOps $$ Синий экран

  • Циклы обратной связи
    • Автоматизированные тесты
    • Раннее выявление сбоев
  • При возникновении проблем
    • Анализ первопричин
    • Разборы инцидентов без поиска виновных
    • Обучение и обмен знаниями
MLOps для бизнеса

Люди и команды

MLOps / DevOps строятся на совместной работе

  • Компании по-разному формируют команды

$$

Общие черты

  • Автономность
  • Общие стимулы
  • Циклы обратной связи и обучение
  • Доверие
  • Поощрение готовности к риску

$$ Люди за совместной работой

MLOps для бизнеса

Экспериментирование

Стремление к высокому качеству через эксперименты

  • A/B-тестирование (рандомизированные эксперименты)
  • Намеренное внедрение сбоев

$$ Лабораторный тест

MLOps для бизнеса

Давайте потренируемся!

MLOps для бизнеса

Preparing Video For Download...