Масштабованість

Розроблення моделей машинного навчання для продакшну

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Обмеження обчислень і масштабованість

  • Вимоги до CPU, памʼяті та диска впливають на масштабованість моделей ML
  • Вимірюйте використання CPU, памʼяті та диска під час навчання й інференсу
  • Раннє виявлення веде до кращої масштабованості моделей

server room

Розроблення моделей машинного навчання для продакшну

Складність моделі та масштабованість

  • Складність моделі впливає на масштабованість
  • Балансувати складність і масштабованість складно
  • Стратегії балансу:
    • Відбір ознак (напр., Chi-squared, PCA)
    • Стиснення моделей (напр., pruning)

PCA

Principal Component Analysis (PCA)

Розроблення моделей машинного навчання для продакшну

Швидкість розгортань і масштабованість

  • Швидке розгортання й ітерації критичні для актуальності й точності
  • Стратегії
    • безперервна інтеграція/розгортання — у наступному уроці
    • онлайн-навчання — навчання на нових даних у реальному часі

runner

Розроблення моделей машинного навчання для продакшну

Оптимальні стратегії масштабування

  • Компроміси: вартість сервінгу, перенавчання та швидкість розгортань
  • Стратегії масштабування: горизонтальне, вертикальне, авто-масштабування
    • Горизонтальне: додавання машин
    • Вертикальне: збільшення потужності машини
    • Авто-масштабування: змінює кількість машин за навантаженням

scaling

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Розроблення моделей машинного навчання для продакшну

Вибір оптимальної стратегії масштабування

  • Горизонтальне масштабування використовує балансування навантаження, партиціювання

  • Компроміси горизонтального масштабування: складність, вартість ($)

  • Вертикальне масштабування збільшує розмір машини

  • Компроміс вертикального масштабування: вартість ($)

Ідеально — авто-масштабувати горизонтально й вертикально.

scaling

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Розроблення моделей машинного навчання для продакшну

Давайте потренуємось!

Розроблення моделей машинного навчання для продакшну

Preparing Video For Download...