Automatisation des stratégies de déploiement en MLOps

MLOps entièrement automatisé

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Déploiement du modèle – service de prédiction

Image de l'architecture de référence MLOps avec un élément en surbrillance : le service de prédiction.

MLOps entièrement automatisé

Services de prédiction – rappel des modes

Les prédictions peuvent être diffusées :

  • Par lot
  • En flux
  • En temps réel
  • En périphérie
MLOps entièrement automatisé

Service de prédiction – diffusion par lot

$$

  • Grand nombre de prédictions

$$

  • Planifications périodiques

$$

  • Déclenchées par événement

$$

$$

$$

Figure représentant le traitement par lot. Toutes les entrées sont envoyées à un moteur de traitement par lot. Toutes les sorties sont livrées simultanément après traitement de l'ensemble des entrées.

MLOps entièrement automatisé

Service de prédiction – diffusion en flux

$$

  • Données entrantes en continu

$$

  • Prédictions livrées en continu

$$

$$

Figure représentant le traitement en flux. Les éléments sont livrés en continu à un moteur de traitement de flux. Après traitement, les sorties sont livrées en continu vers un flux de sortie.

MLOps entièrement automatisé

Service de prédiction – temps réel

$$

  • Enregistrement unique

$$

  • Prédictions instantanées

$$

$$

realtime_interaction.png

MLOps entièrement automatisé

Service de prédiction – en périphérie

$$

  • Appareils mobiles

$$

  • Appareils IdO

$$

  • Latence réduite

$$

Image d'une application IdO exécutée sur une tablette.

MLOps entièrement automatisé

Stratégies de déploiement

$$

Les types de diffusion ML déterminent comment déployer et mettre à jour nos services de prédiction

Les stratégies de déploiement de modèles incluent :

  • Déploiement fantôme
  • Déploiement canari
  • Tests A/B
  • Bleu/Vert
MLOps entièrement automatisé

Tests A/B

Figure représentant des tests A/B dans un service de prédiction déployé. Les requêtes de prédiction sont envoyées à un répartiteur de charge, qui les distribue aux modèles A et B. La performance des modèles est suivie en continu.

MLOps entièrement automatisé

Tests A/B

Figure d'un déploiement A/B. Après un suivi suffisant, le modèle B s'avère meilleur. Le système redirige alors toutes les requêtes vers ce modèle le plus performant.

MLOps entièrement automatisé

Déploiement fantôme

Figure d'un déploiement fantôme. Les requêtes de prédiction vont à un répartiteur de charge, qui les envoie aux modèles actif et fantôme. Seul le modèle actif renvoie des prédictions. La performance des deux modèles est suivie en continu.

MLOps entièrement automatisé

Déploiement Bleu/Vert

Figure d'un déploiement Bleu/Vert. Un modèle est en production dans l'environnement bleu.

MLOps entièrement automatisé

Déploiement Bleu/Vert

Un modèle mis à jour est déployé dans une réplique de l'environnement bleu : l'environnement vert. Un module d'aiguillage du trafic commence à rediriger automatiquement les requêtes du bleu vers le vert.

MLOps entièrement automatisé

Déploiement Bleu/Vert

Figure d'un déploiement Bleu/Vert. Tout le trafic est transféré graduellement et automatiquement du bleu vers le vert.

MLOps entièrement automatisé

Déploiement Bleu/Vert

Après le basculement complet du trafic, l'environnement bleu peut être supprimé. L'environnement vert avec le modèle à jour devient le nouvel environnement de production.

MLOps entièrement automatisé

Déployer et mettre à jour les services de prédiction

$$

Le type de modèle détermine la stratégie de déploiement

Tableau des stratégies de déploiement et de leurs propriétés selon 4 dimensions : sans interruption, basé sur des conditions, temps de restauration et coûts additionnels.

MLOps entièrement automatisé

Passons à la pratique !

MLOps entièrement automatisé

Preparing Video For Download...