Aperçu de LLMOps

Concepts de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ce que nous allons apprendre dans ce cours

LLMOps aide à gérer, déployer et maintenir efficacement des applications de grands modèles de langue
Nous verrons :
- Principes de base
- Cycle de vie des applications LLM
- Défis et points à considérer

¹ Illustrations de Manfred Steger @ Pixabay

Un pipeline simple montrant une requête qui entre dans un LLM et génère une sortie

Ce qui mène à ce que nous appelons des applications LLM tout au long du cours

Image d'un pipeline LLM complexe

Intégration sans heurts

Transitions fluides du cycle de vie

Gestion efficiente et évolutive

Quelques différences :

	LLMOps	MLOps
Taille du modèle	Grande	Généralement plus petite
Données	Texte	Tout type de données
Modèles préentraînés	Généralement oui	Généralement non
Amélioration du modèle	Ingénierie de invites et ajustement fin	Ingénierie des caractéristiques et choix du modèle
Généralisation	Usage général	Portée fixe
Imprévisibilité	Élevée	Faible
Sortie	Principalement du texte	Spécifique à la tâche

Concepts de LLMOps