Skalbarhet

Att utveckla maskininlärningsmodeller för produktion

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Beräkningsbegränsningar och skalbarhet

  • CPU, minne och disk påverkar ML-modellers skalbarhet
  • Mät CPU-, minnes- och diskanvändning under träning och inferens
  • Tidig identifiering leder till bättre skalbarhet

serverrum

Att utveckla maskininlärningsmodeller för produktion

Modellkomplexitet och skalbarhet

  • Modellkomplexitet påverkar skalbarheten
  • Det är en utmaning att balansera komplexitet och skalbarhet
  • Strategier för balansering:
    • Särdragsselektion (t.ex. chi-kvadrat, PCA)
    • Modellkomprimering (t.ex. pruning)

PCA

Principal Component Analysis (PCA)

Att utveckla maskininlärningsmodeller för produktion

Driftsättningstakt och skalbarhet

  • Snabb driftsättning och iteration är avgörande för relevans och precision
  • Strategier
    • kontinuerlig integration/driftsättning – behandlas i nästa lektion
    • onlineinlärning – lär sig av ny data i realtid

löpare

Att utveckla maskininlärningsmodeller för produktion

Optimala skalningsstrategier

  • Avvägningar inkluderar kostnad för serving, omträning och driftsättningstakt
  • Skalningsstrategier: horisontell skalning, vertikal skalning, autoskalning
    • Horisontell skalning: lägger till fler maskiner
    • Vertikal skalning: ökar maskinstorleken
    • Autoskalning: justerar antalet maskiner efter arbetsbelastning

skalning

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Att utveckla maskininlärningsmodeller för produktion

Välj din optimala skalningsstrategi

  • Horisontell skalning använder lastbalansering och partitionering

  • Avvägningar vid horisontell skalning: komplexitet, kostnad ($)

  • Vertikal skalning ökar maskinstorleken

  • Avvägning vid vertikal skalning: kostnad ($)

Idealt – autoskala horisontellt och vertikalt.

skalning

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Att utveckla maskininlärningsmodeller för produktion

Nu kör vi en övning!

Att utveckla maskininlärningsmodeller för produktion

Preparing Video For Download...