Ajustement fin

Concepts sur les grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

Où en sommes-nous ?

Graphique de progression indiquant que nous sommes rendus à l'étape d'ajustement fin

Concepts sur les grands modèles de langage (LLM)

 

  • Préapprentissage

Image représentant des élèves du primaire comme analogie du préapprentissage

          Scolarité de base

 

  • Ajustement fin

Image représentant des étudiants universitaires comme analogie de l'ajustement fin

        Spécialisation universitaire
1 Freepik
Concepts sur les grands modèles de langage (LLM)

Défis de « grandeur »

  • L'ajustement fin peut aider
  • Ordinateurs puissants
  • Méthodes d'entraînement efficaces
  • Grandes quantités de données d'entraînement

Image montrant la disponibilité des données, le temps d'entraînement et la puissance de calcul comme défis pour les LLM

Concepts sur les grands modèles de langage (LLM)

Puissance de calcul

  • Mémoire

  • Puissance de traitement

  • Infrastructure

  • Coût élevé

  • LLM :
    • centaines de milliers d'unités centrales (CPU)
    • dizaines de milliers d'unités graphiques (GPU)
  • Un ordinateur personnel : 4–8 CPU et 1–2 GPU

Homme travaillant à un ordinateur branché à un grand serveur

1 Freepik
Concepts sur les grands modèles de langage (LLM)

Entraînement efficace du modèle

Illustration symbolisant un modèle d'apprentissage profond

  • Le temps d'entraînement est énorme

 

  • Peut prendre des semaines, voire des mois

 

  • Entraîner efficacement = temps réduit

 

  • 355 ans de calcul sur un seul GPU
Concepts sur les grands modèles de langage (LLM)

Disponibilité des données

 

  • Besoin de données de grande qualité
  • Pour apprendre la complexité et les subtilités de la langue

  • Quelques centaines de gigaoctets (Go) de texte

    • Plus d'un million de livres

  • Quantité massive de données

  Deux piles de dossiers débordants pour symboliser un grand volume de données

Concepts sur les grands modèles de langage (LLM)

Surmonter les défis

  • Ajustement fin
    • Répond à certains de ces défis
    • Adapte un modèle préentraîné

 

  • Modèle préentraîné
    • A appris à partir d'ensembles de données généraux
    • Pas optimisé pour des tâches précises
    • Peut être ajusté finement pour un problème donné

Personnes travaillant sur un ordinateur portable géant avec outils et engrenages pour symboliser l'ajustement fin

Concepts sur les grands modèles de langage (LLM)

Ajustement fin vs préapprentissage

  • Ajustement fin

  • Calcul

    • 1–2 CPU et GPU

 

  • Temps d'entraînement
    • Heures à jours

 

  • Données
    • ~1 gigaoctet

  • Préapprentissage

  • Calcul

    • Milliers de CPU et GPU

 

  • Temps d'entraînement
    • Semaines à mois

 

  • Données
    • Centaines de gigaoctets
Concepts sur les grands modèles de langage (LLM)

Passons à la pratique !

Concepts sur les grands modèles de langage (LLM)

Preparing Video For Download...