Modes de service

Déploiement MLOps et cycle de vie

Nemanja Radojkovic

Senior Machine Learning Engineer

modèle en tant que logiciel

Déploiement MLOps et cycle de vie

point de vue utilisateur

Déploiement MLOps et cycle de vie

service comme un autre

Déploiement MLOps et cycle de vie

service de restauration

Déploiement MLOps et cycle de vie

service de modèle

Déploiement MLOps et cycle de vie

Service et mode de service

  • Fournir un service de prédiction == mise en service d'un modèle
  • Implémentation d'un type de service spécifique == mode de service

 

Choisissez avec soin !

Déploiement MLOps et cycle de vie

quand exécuter le service

Déploiement MLOps et cycle de vie

planifié

Déploiement MLOps et cycle de vie

à la demande

Déploiement MLOps et cycle de vie

prédiction par lots 1

Déploiement MLOps et cycle de vie

prédiction par lots 2

Déploiement MLOps et cycle de vie

définition du lot

Déploiement MLOps et cycle de vie

aussi appelé

Déploiement MLOps et cycle de vie

Prédiction par lots : rester simple

  • La prédiction par lots est la plus simple
  • Si le cas d'usage le permet, adoptez-la
  • Bon cas : génération mensuelle des prévisions de ventes
Déploiement MLOps et cycle de vie

prédiction à la demande 1

Déploiement MLOps et cycle de vie

synonymes à la demande

Déploiement MLOps et cycle de vie

importance du temps à la demande

Déploiement MLOps et cycle de vie

terme technique

Déploiement MLOps et cycle de vie

temps de requête

Déploiement MLOps et cycle de vie

temps de réponse

Déploiement MLOps et cycle de vie

Latence acceptable

Qu'est-ce qui est acceptable ?

  • < 1 heure ?
  • < 1 minute ?
  • < 1 seconde ?
  • < 1 milliseconde ?
Déploiement MLOps et cycle de vie

Prédiction quasi temps réel, ou Stream processing

Latence acceptable ≈ X minutes

Aussi appelé stream processing (les requêtes et réponses forment des « flux de données »)

Déploiement MLOps et cycle de vie

Prédiction en temps réel

Latence acceptable < 1 s

Exemple :

  • Détection de fraude à la carte bancaire
  • Une prédiction tardive est quasi inutile
Déploiement MLOps et cycle de vie

Quand la latence est prioritaire

  • Un modèle moins performant mais plus rapide vaut mieux qu'un modèle meilleur mais lent
  • Déployer les modèles sur les appareils finaux pour réduire la latence → « edge deployment »
    • Applications mobiles avec ML :
      • applis de navigation
      • déverrouillage par reconnaissance faciale
      • filtres d'images
Déploiement MLOps et cycle de vie

Passons à la pratique !

Déploiement MLOps et cycle de vie

Preparing Video For Download...