Aperçu des LLMOps

Concepts de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ce que nous allons apprendre dans ce cours

Une illustration ludique d’un livre assis à son bureau, en train d’apprendre

  • LLMOps permettent de gérer, déployer et maintenir efficacement les applications LLM
  • Nous aborderons :
    • Fondamentaux
    • Cycle de vie des applications LLM
    • Défis et considérations
1 Illustrations de Manfred Steger @ Pixabay
Concepts de LLMOps

Récapitulatif des LLM

Que sont les LLM ?
  • 📚 Formés sur de vastes données textuelles
  • 🧠 Peuvent comprendre et générer du texte de manière similaire à un humain
  • 💡 Représentent une avancée majeure en IA
Qu’est-ce qui les distingue ?
  • 🏋 Généralement pré-entraînés
  • 🐘 Nombre massif de paramètres
  • 💻 Ressources informatiques importantes
  • 🎲 Imprévisibles
Concepts de LLMOps

Comment cela a commencé...

  • Les requêtes ont été directement transmises au modèle
  • L’accent était mis sur l’exploitation du modèle
  • Les données n'ont été introduites que lorsque le modèle a été ajusté

Un pipeline simple illustrant une requête envoyée à un LLM et générant une sortie

Concepts de LLMOps

... par rapport à la situation actuelle

  • Intégration des données organisationnelles avant la génération de texte
  • Les étapes peuvent inclure le traitement et la manipulation de données
  • Un ou plusieurs appels de modèle, prenant en charge texte, image ou multimodal

Ce qui donne ce que nous appelons des applications LLM tout au long de ce cours

Picture of a complex LLM pipeline

Concepts de LLMOps

Le besoin de LLMOps

Intégration transparente

Concepts de LLMOps

Le besoin de LLMOps

Transitions fluides du cycle de vie

Concepts de LLMOps

Le besoin de LLMOps

Gestion efficace et évolutive

Concepts de LLMOps

LLMOps versus MLOps

Concepts de LLMOps

LLMOps versus MLOps

Quelques différences :

LLMOps MLOps
Taille du modèle Grande Généralement plus petite
Données Texte Toutes données
Modèles pré-entraînés Généralement oui Généralement non
Amélioration du modèle Ingénierie des prompts & réglage fin ingénierie des caractéristiques & sélection du modèle
Généralisation Polyvalent Portée fixe
Imprévisibilité Élevée Faible
Sortie Principalement du texte Spécifique à la tâche
Concepts de LLMOps

Passons à la pratique !

Concepts de LLMOps

Preparing Video For Download...