Scalabilità

Sviluppare modelli di Machine Learning per la produzione

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Vincoli di calcolo nella scalabilità

  • Requisiti di CPU, memoria e disco influenzano la scalabilità del modello ML
  • Misura CPU, memoria e disco in training e inferenza
  • Individuare presto i colli di bottiglia migliora la scalabilità

sala server

Sviluppare modelli di Machine Learning per la produzione

Complessità del modello e scalabilità

  • La complessità del modello influisce sulla scalabilità
  • Bilanciare complessità e scalabilità è difficile
  • Strategie per bilanciare:
    • Selezione delle feature (es. Chi‑quadrato, PCA)
    • Compressione del modello (es. pruning)

PCA

Principal Component Analysis (PCA)

Sviluppare modelli di Machine Learning per la produzione

Velocità dei rilasci e scalabilità

  • Distribuire e iterare rapidamente è cruciale per rilevanza e accuratezza
  • Strategie
    • continuous integration/deployment: nella prossima lezione
    • online learning: apprendere con nuovi dati in tempo reale

corridore

Sviluppare modelli di Machine Learning per la produzione

Strategie di scaling ottimali

  • Trade‑off: costi di serving, ri‑training e velocità dei rilasci
  • Strategie di scaling: orizzontale, verticale, auto‑scaling
    • Orizzontale: aggiungere più macchine
    • Verticale: aumentare la dimensione della macchina
    • Auto‑scaling: regola il numero di macchine in base al carico

scaling

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Sviluppare modelli di Machine Learning per la produzione

Definire la strategia di scaling ottimale

  • Lo scaling orizzontale usa bilanciamento del carico e partizionamento

  • Compromessi dello scaling orizzontale: complessità, costi ($)

  • Lo scaling verticale aumenta la dimensione della macchina

  • Compromesso dello scaling verticale: costi ($)

Ideale: auto‑scaling orizzontale e verticale.

scaling

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Sviluppare modelli di Machine Learning per la produzione

Passiamo alla pratica!

Sviluppare modelli di Machine Learning per la produzione

Preparing Video For Download...