Schaalbaarheid

Machine Learning-modellen ontwikkelen voor productie

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Rekenbeperkingen bij schaalbaarheid

  • CPU-, geheugen- en schijfvereisten beïnvloeden de schaalbaarheid van ML-modellen
  • Meet CPU-, geheugen- en schijfgebruik tijdens training en inference
  • Vroege signalering verbetert schaalbaarheid

serverruimte

Machine Learning-modellen ontwikkelen voor productie

Modelcomplexiteit en schaalbaarheid

  • Modelcomplexiteit beïnvloedt schaalbaarheid
  • Balans tussen complexiteit en schaalbaarheid is lastig
  • Strategieën om te balanceren:
    • Featureselectie (bijv. Chi-kwadraat, PCA)
    • Modelcompressie (bijv. pruning)

PCA

Principal Component Analysis (PCA)

Machine Learning-modellen ontwikkelen voor productie

Snelheid van deployments en schaalbaarheid

  • Snel deployen en itereren is cruciaal voor relevantie en nauwkeurigheid
  • Strategieën
    • continuous integration/deployment – komt in de volgende les
    • online learning – leren met nieuwe data in realtime

hardloper

Machine Learning-modellen ontwikkelen voor productie

Optimale schaalstrategieën

  • Trade-offs: kosten voor serving, retraining en deploysnelheid
  • Schaalstrategieën: horizontaal, verticaal, auto-scaling
    • Horizontaal: extra machines toevoegen
    • Verticaal: machine vergroten
    • Auto-scaling: past aantal machines aan op workload

schalen

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Machine Learning-modellen ontwikkelen voor productie

Je optimale schaalstrategie bepalen

  • Horizontaal schalen gebruikt load balancing, partitionering

  • Nadelen horizontaal schalen: complexiteit, kosten ($)

  • Verticaal schalen vergroot de machine

  • Nadeel verticaal schalen: kosten ($)

Ideaal: auto-scaling, zowel horizontaal als verticaal.

schalen

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Machine Learning-modellen ontwikkelen voor productie

Laten we oefenen!

Machine Learning-modellen ontwikkelen voor productie

Preparing Video For Download...