Автоматизация

Разработка моделей машинного обучения для продакшена

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Введение в автоматизацию ML

  • Автоматизация обеспечивает надёжность и эффективность ML-пайплайнов
  • Снижает риск человеческих ошибок
  • Упрощает разработку и развёртывание
  • Четыре основных принципа MLOps:
    • Непрерывная интеграция (CI)
    • Непрерывное развёртывание (CD)
    • Непрерывное обучение (CT)
    • Непрерывный мониторинг (CM)
Разработка моделей машинного обучения для продакшена

Четыре принципа автоматизации

Непрерывная интеграция (CI) Регулярная интеграция изменений кода в общий репозиторий coding

Непрерывная поставка (CD) Автоматическая сборка, тестирование и развёртывание изменений кода package

Непрерывное обучение (CT) Постоянное обучение и обновление модели на новых данных

brain

Непрерывный мониторинг (CM) Постоянный контроль производительности и точности модели monitor

Разработка моделей машинного обучения для продакшена

Непрерывная интеграция и поставка

Непрерывная интеграция (CI)

  • Код всегда находится в рабочем состоянии
  • Снижает риск человеческих ошибок
  • Позволяет выявлять проблемы на раннем этапе

Непрерывная поставка (CD)

  • Быстрое и стабильное развёртывание моделей
  • Сокращает время вывода моделей в продакшн
  • Снижает риск человеческих ошибок

Инструменты CI/CD: Git, AWS CodePipeline, Jenkins, Travis CI

jenkins

Разработка моделей машинного обучения для продакшена

Непрерывное обучение и мониторинг

Непрерывное обучение (CT)

  • Обеспечивает точность и актуальность модели
  • Снижает риск деградации модели
  • Сокращает время на повторное обучение

Непрерывный мониторинг (CM)

  • Снижает риск деградации модели
  • Повышает общую точность
  • Обеспечивает доступ к стабильным метрикам ML
  • Позволяет выявлять проблемы на раннем этапе

monitor

Разработка моделей машинного обучения для продакшена

Пример автоматизации ML в масштабе

  1. CI: код модели фиксируется в Git.

  2. CD: зафиксированный код собирается и тестируется с помощью инструмента CI/CD, например Jenkins. При успешном прохождении — выполняется развёртывание.

    • Модель сериализуется.
    • Зависимости задаются с помощью Docker.
    • Docker-образ развёртывается.

  3. CM: производительность модели непрерывно отслеживается.

    • Данные мониторинга используются для принятия решений о модели.
    • Инструменты CM: Prometheus и Grafana

  4. CT: модель обучается на новых данных.

  5. Пишется новый код / обновляются модели ... возврат к шагу 1

Разработка моделей машинного обучения для продакшена

Давайте потренируемся!

Разработка моделей машинного обучения для продакшена

Preparing Video For Download...