Scalabilité

Développer des modèles de Machine Learning pour la production

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Contraintes de calcul et scalabilité

  • Les besoins en CPU, mémoire et disque influent sur la scalabilité des modèles de Machine Learning
  • Mesurez l'usage CPU, mémoire et disque pendant l'entraînement et l'inférence
  • Identifier tôt ces facteurs améliore la scalabilité des modèles

salle serveurs

Développer des modèles de Machine Learning pour la production

Complexité du modèle et scalabilité

  • La complexité du modèle affecte la scalabilité
  • Trouver l'équilibre entre complexité et scalabilité est difficile
  • Pistes pour équilibrer :
    • Sélection de variables (p. ex. khi-deux, PCA)
    • Compression de modèle (p. ex. pruning)

ACP

Analyse en composantes principales (PCA)

Développer des modèles de Machine Learning pour la production

Vitesse des déploiements et scalabilité

  • Déployer et itérer rapidement est crucial pour la pertinence et la précision
  • Stratégies
    • intégration/déploiement continus : vu dans la leçon suivante
    • apprentissage en ligne : apprendre avec de nouvelles données en temps réel

coureur

Développer des modèles de Machine Learning pour la production

Stratégies de scaling optimales

  • Arbitrages : coût du service, réentraînement et cadence de déploiement
  • Stratégies de montée en charge : scaling horizontal, scaling vertical, auto-scaling
    • Scaling horizontal : ajouter des machines
    • Scaling vertical : augmenter la taille des machines
    • Auto-scaling : ajuste le nombre de machines selon la charge

scaling

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Développer des modèles de Machine Learning pour la production

Définir votre stratégie de scaling optimale

  • Le scaling horizontal utilise répartition de charge et partitionnement

  • Inconvénients du scaling horizontal : complexité, coût ($)

  • Le scaling vertical augmente la taille des machines

  • Inconvénient du scaling vertical : coût ($)

Idéalement : auto-scaler horizontalement et verticalement.

scaling

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
Développer des modèles de Machine Learning pour la production

Passons à la pratique !

Développer des modèles de Machine Learning pour la production

Preparing Video For Download...