Déploiement

Concepts de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cycle de vie LLM : Déploiement

Aperçu des phases du cycle de vie d'une application LLM

Passage au déploiement

Il n'existe pas de réponse unique !
Une application peut inclure une logique de chaîne/d’agent, une base de données vectorielle, un LLM, et d’autres éléments
Chaque composant doit être déployé et fonctionner comme un ensemble

Étape 1 : Choix de l’hébergement

Hébergement cloud privé/public ou sur site
De nombreux fournisseurs cloud proposent des solutions pour l’hébergement et le déploiement de LLM

Hébergement

Étape 2 : Conception d'API

Les API permettent à différents logiciels de communiquer entre eux
La conception influence l’évolutivité, les coûts et les besoins en infrastructure
Sécurité essentielle, contrôlée par des clés API !

Conception d’API

Étape 3 : Exécution

Options :
1. Conteneurs
2. Fonctions sans serveur
3. Services gérés dans le cloud
Avantages/inconvénients tels que coûts, évolutivité, efficacité et flexibilité

Docker logo

Architecture d’exécution

CI/CD

Intégration continue (CI) :

Source : Récupérer le code source
Conception : Créer une image de conteneur contenant le code
Test : Effectuer des tests d'intégration
Enregistrement : stocker conteneur dans registre

Déploiement continu (CD) :

Récupérer : Récupérer le conteneur depuis le registre
Test : Effectuer des tests de déploiement
Déploiement : Déployer le conteneur vers les environnements :
- Préparation
- Production

Mise à l’échelle

Les LLM peuvent nécessiter du matériel GPU spécialisé.
Stratégies de mise à l’échelle :
1. Horizontal : Ajouter d'autres machines
2. Vertical : Améliorer une machine
Horizontal pour le trafic, vertical pour la fiabilité et la vitesse

Passons à la pratique !

Concepts de LLMOps

Preparing Video For Download...