Масштабируемость

Разработка моделей машинного обучения для продакшена

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Вычислительные ограничения масштабируемости

  • Требования к CPU, памяти и диску влияют на масштабируемость ML-модели
  • Измеряйте использование CPU, памяти и диска при обучении и инференсе
  • Раннее выявление проблем улучшает масштабируемость модели

серверная комната

Разработка моделей машинного обучения для продакшена

Сложность модели и масштабируемость

  • Сложность модели влияет на масштабируемость
  • Баланс между сложностью и масштабируемостью — непростая задача
  • Стратегии балансировки:
    • Методы отбора признаков (например, хи-квадрат, PCA)
    • Методы сжатия модели (например, прунинг)

PCA

Метод главных компонент (PCA)

Разработка моделей машинного обучения для продакшена

Скорость развёртывания и масштабируемость

  • Быстрое развёртывание и итерации критически важны для актуальности и точности
  • Стратегии
    • непрерывная интеграция/развёртывание — рассматривается в следующем уроке
    • онлайн-обучение — обучение на новых данных в реальном времени

бегун

Разработка моделей машинного обучения для продакшена

Оптимальные стратегии масштабирования

  • Компромиссы включают стоимость обслуживания, переобучения и скорость развёртывания
  • Стратегии масштабирования: горизонтальное, вертикальное, автомасштабирование
    • Горизонтальное: добавление новых машин
    • Вертикальное: увеличение мощности машины
    • Автомасштабирование: регулирует число машин в зависимости от нагрузки

масштабирование

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Разработка моделей машинного обучения для продакшена

Выбор оптимальной стратегии масштабирования

  • Горизонтальное масштабирование использует балансировку нагрузки и партиционирование

  • Недостатки горизонтального масштабирования: сложность, стоимость ($)

  • Вертикальное масштабирование увеличивает мощность машины

  • Недостаток вертикального масштабирования: стоимость ($)

Оптимально — автомасштабирование горизонтально и вертикально.

масштабирование

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Разработка моделей машинного обучения для продакшена

Давайте потренируемся!

Разработка моделей машинного обучения для продакшена

Preparing Video For Download...