Škálovatelnost

Developing Machine Learning Models for Production

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Výpočetní omezení a škálovatelnost

  • Požadavky na CPU, paměť a disk ovlivňují škálovatelnost modelu
  • Měřte využití CPU, paměti a disku při trénování i inferenci
  • Včasná identifikace vede k lepší škálovatelnosti modelu

serverovna

Developing Machine Learning Models for Production

Složitost modelu a škálovatelnost

  • Složitost modelu ovlivňuje škálovatelnost
  • Vyvažování složitosti a škálovatelnosti je náročné
  • Strategie vyvažování:
    • Techniky výběru příznaků (např. Chi-squared, PCA)
    • Techniky komprese modelu (např. pruning)

PCA

Analýza hlavních komponent (PCA)

Developing Machine Learning Models for Production

Rychlost nasazení a škálovatelnost

  • Rychlé nasazování a iterace jsou klíčové pro relevanci a přesnost
  • Strategie
    • průběžná integrace/nasazení – probráno v další lekci
    • online učení – učení z nových dat v reálném čase

běžec

Developing Machine Learning Models for Production

Optimální strategie škálování

  • Kompromisy zahrnují náklady na obsluhu, přetrénování a rychlost nasazení
  • Strategie škálování: horizontální, vertikální, automatické
    • Horizontální škálování: přidávání dalších strojů
    • Vertikální škálování: zvýšení výkonu stroje
    • Automatické škálování: upravuje počet strojů podle zátěže

škálování

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Developing Machine Learning Models for Production

Volba optimální strategie škálování

  • Horizontální škálování využívá load balancing a rozdělení

  • Nevýhody horizontálního škálování: složitost, náklady ($)

  • Vertikální škálování zvyšuje výkon stroje

  • Nevýhoda vertikálního škálování: náklady ($)

Ideálně – automatické škálování horizontálně i vertikálně.

škálování

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Developing Machine Learning Models for Production

Pojďme si procvičit!

Developing Machine Learning Models for Production

Preparing Video For Download...