Автоматизація

Розроблення моделей машинного навчання для продакшну

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Вступ до ML-автоматизації

  • Автоматизація забезпечує надійність і ефективність ML-пайплайнів
  • Зменшує ризик людських помилок
  • Спрощує розробку та розгортання
  • Чотири головні принципи MLOps:
    • Continuous Integration (CI)
    • Continuous Deployment (CD)
    • Continuous Training (CT)
    • Continuous Monitoring (CM)
Розроблення моделей машинного навчання для продакшну

Чотири принципи автоматизації

Continuous Integration (CI) Регулярна інтеграція змін коду до спільного репозиторію кодинг

Continuous Delivery (CD) Автоматичне збирання, тестування та розгортання змін коду пакунок

Continuous Training (CT) Безперервне навчання та оновлення моделі новими даними

мозок

Continuous Monitoring (CM) Постійний моніторинг продуктивності та точності моделі монітор

Розроблення моделей машинного навчання для продакшну

Continuous integration та delivery

Continuous Integration (CI)

  • Код завжди у робочому стані
  • Менший ризик людських помилок
  • Раннє виявлення проблем

Continuous Delivery (CD)

  • Швидке й послідовне розгортання моделей
  • Менший час до продакшну
  • Менший ризик людських помилок

Інструменти CI/CD: Git, AWS CodePipeline, Jenkins, Travis CI

jenkins

Розроблення моделей машинного навчання для продакшну

Continuous training і monitoring

Continuous Training (CT)

  • Підтримує точність і актуальність моделі
  • Зменшує ризик деградації моделі
  • Скорочує час на перенавчання

Continuous Monitoring (CM)

  • Зменшує ризик деградації моделі
  • Підвищує загальну точність
  • Постійні й надійні ML-метрики
  • Раннє виявлення проблем

монітор

Розроблення моделей машинного навчання для продакшну

Приклад масштабної ML-автоматизації

  1. CI: Код моделі комітиться до Git.

  2. CD: Закомічений код збирається й тестується інструментом CI/CD, як-от Jenkins. Якщо тести пройдені, ми розгортаємо.

    • Модель серіалізується.
    • Залежності налаштовуються через Docker.
    • Docker-образ розгортається.
  3. CM: Продуктивність моделі постійно моніториться.

    • Моніторинг інформує рішення щодо моделі.
    • Інструменти CM: Prometheus і Grafana
  4. CT: Модель навчається на нових даних.

  5. Пишеться новий код / оновлюються моделі ... повертаємось до кроку 1

Розроблення моделей машинного навчання для продакшну

Давайте потренуємось!

Розроблення моделей машинного навчання для продакшну

Preparing Video For Download...