Déploiement

Concepts de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cycle de vie des LLM : Déploiement

Aperçu des phases du cycle de vie d'une application LLM

Passer au déploiement

Pas de solution universelle !
Une application peut inclure une logique de chaîne/d'agent, une base vectorielle, un LLM, etc.
Chaque composant doit être déployé et fonctionner ensemble

Étape 1 : Choix de l'hébergement

Infonuage privé/public ou hébergement local (on-premise)
Plusieurs fournisseurs infonuagiques offrent l'hébergement et le déploiement de LLM

Hébergement

Étape 2 : Conception de l'API

Les API permettent aux logiciels de communiquer
La conception influe sur l'évolutivité, les coûts et l'infrastructure
La sécurité est clé, gérée avec des clés d'API !

Conception d'API

Étape 3 : Mode d'exécution

Options :
1. Conteneurs
2. Fonctions sans serveur
3. Services gérés infonuagiques
Avantages/inconvénients : coûts, évolutivité, efficacité, souplesse

Logo Docker

Architecture d'exécution

CI/CD

Intégration continue (CI) :

Source : Récupérer le code source
Construction : Créer une image de conteneur avec le code
Test : Effectuer des tests d'intégration
Enregistrement : Stocker l'image dans un registre

Déploiement continu (CD) :

Récupération : Récupérer le conteneur du registre
Test : Effectuer des tests de déploiement
Déploiement : Déployer le conteneur vers :
- Préproduction (staging)
- Production

Mise à l'échelle

Les LLM peuvent exiger du matériel GPU spécialisé.
Stratégies d'augmentation de la capacité :
1. Horizontale : ajouter des machines
2. Verticale : renforcer une machine
Horizontale pour le trafic, verticale pour la fiabilité et la vitesse

Passons à la pratique !

Concepts de LLMOps

Preparing Video For Download...