Scalabilitate

Dezvoltarea modelelor de Machine Learning pentru producție

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Constrângeri de calcul în scalabilitate

  • CPU, memoria și discul pot afecta scalabilitatea modelelor ML
  • Măsurați utilizarea CPU, memoriei și discului în antrenare și inferență
  • Identificarea timpurie îmbunătățește scalabilitatea modelului

cameră servere

Dezvoltarea modelelor de Machine Learning pentru producție

Complexitatea modelului și scalabilitatea

  • Complexitatea modelului afectează scalabilitatea
  • Echilibrarea complexității și scalabilității este dificilă
  • Strategii de echilibrare:
    • Tehnici de selecție a caracteristicilor (ex. Chi-squared, PCA)
    • Tehnici de compresie a modelului (ex. pruning)

PCA

Analiza componentelor principale (PCA)

Dezvoltarea modelelor de Machine Learning pentru producție

Viteza implementărilor și scalabilitatea

  • Implementarea și iterarea rapidă sunt esențiale pentru relevanță și acuratețe
  • Strategii
    • integrare/implementare continuă – acoperite în lecția următoare
    • învățare online – învățare cu date noi în timp real

alergător

Dezvoltarea modelelor de Machine Learning pentru producție

Strategii optime de scalare

  • Compromisurile includ costul servirii, re-antrenării și viteza implementărilor
  • Strategii de scalare: orizontală, verticală, auto-scalare
    • Scalare orizontală: adăugare de mașini
    • Scalare verticală: mărirea dimensiunii mașinii
    • Auto-scalare: ajustează numărul de mașini în funcție de sarcină

scalare

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Dezvoltarea modelelor de Machine Learning pentru producție

Alegerea strategiei optime de scalare

  • Scalarea orizontală folosește echilibrarea sarcinii, partiționarea

  • Compromisuri orizontale: complexitate, cost ($)

  • Scalarea verticală mărește dimensiunea mașinii

  • Compromis vertical: cost ($)

Ideal – scalare automată orizontală și verticală.

scalare

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Dezvoltarea modelelor de Machine Learning pentru producție

Să exersăm!

Dezvoltarea modelelor de Machine Learning pentru producție

Preparing Video For Download...