Automatisation des stratégies de déploiement en MLOps

MLOps entièrement automatisé

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Déploiement de modèle – service de prédiction

Image de l'architecture de référence MLOps avec un élément mis en avant : le service de prédiction.

MLOps entièrement automatisé

Services de prédiction – récap des modes

Les prédictions peuvent être servies :

  • Par lots
  • En flux
  • En temps réel
  • En périphérie (« edge »)
MLOps entièrement automatisé

Service de prédiction – mode batch

$$

  • Grand nombre de prédictions

$$

  • Exécutions périodiques

$$

  • Déclenchées par événement

$$

$$

$$

Schéma du traitement par lots. Toutes les entrées vont vers un moteur batch. Toutes les sorties sont émises en une fois après le traitement complet.

MLOps entièrement automatisé

Service de prédiction – streaming

$$

  • Données entrantes en continu

$$

  • Prédictions délivrées en continu

$$

$$

Schéma du traitement en flux. Les éléments arrivent en continu dans un moteur de streaming. Après traitement, les sorties sont émises en continu.

MLOps entièrement automatisé

Service de prédiction – temps réel

$$

  • Enregistrement unique

$$

  • Prédictions instantanées

$$

$$

realtime_interaction.png

MLOps entièrement automatisé

Service de prédiction – en périphérie

$$

  • Appareils mobiles

$$

  • Appareils IoT

$$

  • Latence réduite

$$

Image d'une application IoT exécutée sur une tablette.

MLOps entièrement automatisé

Stratégies de déploiement

$$

Les types de service ML déterminent comment déployer et mettre à jour nos services de prédiction

Les stratégies de déploiement incluent :

  • Déploiement « shadow »
  • Déploiement « canary »
  • Test A/B
  • Blue/Green
MLOps entièrement automatisé

Test A/B

Schéma d'un test A/B dans un service de prédiction déployé. Les requêtes passent par un répartiteur de charge qui les envoie aux modèles A et B. Les performances sont suivies en continu.

MLOps entièrement automatisé

Test A/B

Schéma d'un déploiement A/B. Après une période de suivi, le modèle B performe mieux. Le système redirige alors tout le trafic vers ce meilleur modèle.

MLOps entièrement automatisé

Déploiement « shadow »

Schéma d'un déploiement shadow. Les requêtes vont au répartiteur de charge, qui les envoie au modèle en production et au modèle shadow. Seul le modèle en production renvoie des prédictions. Les performances des deux sont suivies en continu.

MLOps entièrement automatisé

Déploiement Blue/Green

Schéma d'un déploiement Blue/Green. Un modèle est en production dans l'environnement bleu.

MLOps entièrement automatisé

Déploiement Blue/Green

Un modèle mis à jour est déployé sur une réplique de l'environnement bleu : l'environnement vert. Un module de bascule de trafic redirige automatiquement les requêtes du bleu vers le vert.

MLOps entièrement automatisé

Déploiement Blue/Green

Schéma d'un déploiement Blue/Green. Tout le trafic bascule progressivement et automatiquement du bleu vers le vert.

MLOps entièrement automatisé

Déploiement Blue/Green

Après la bascule complète, l'environnement bleu peut être supprimé. L'environnement vert, avec le modèle mis à jour, devient la nouvelle production.

MLOps entièrement automatisé

Déployer et mettre à jour des services de prédiction

$$

Le type de modèle détermine la stratégie de déploiement

Tableau des stratégies de déploiement et de leurs propriétés selon 4 dimensions : pas d'interruption, basé sur des conditions, temps de retour arrière, coûts additionnels.

MLOps entièrement automatisé

Passons à la pratique !

MLOps entièrement automatisé

Preparing Video For Download...