Affinage

Concepts des grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

Où sommes-nous ?

Tableau de progression indiquant que nous avons atteint la phase d’affinage

Concepts des grands modèles de langage (LLM)

 

  • Pré-entraînement

Une image représentant des écoliers comme analogie au pré-entraînement

          School education

 

  • Affinage

Une image représentant des étudiants à l’université comme une analogie avec l’affinage

        University specialization
1 Freepik
Concepts des grands modèles de langage (LLM)

Défis liés à la « grandeur »

  • L’affinage peut être utile.
  • Des ordinateurs performants.
  • Des méthodes efficaces d'entraînement des modèles.
  • Une grande quantité de données d'entraînement.

Une image illustrant la disponibilité des données, le temps d’entraînement et la puissance de calcul comme étant les défis liés à la création de modèles de LLM

Concepts des grands modèles de langage (LLM)

Puissance de calcul

  • Mémoire

  • Puissance de traitement

  • Infrastructure

  • Coûteux

  • Les LLM :
    • 100 000 unités centrales de traitement (CPU)
    • 10 000 processeurs graphiques (GPU)
  • Un ordinateur personnel : 4 à 8 CPU et 1 à 2 GPU

Un homme travaillant sur un ordinateur connecté à un grand serveur

1 Freepik
Concepts des grands modèles de langage (LLM)

Entraînement efficace des modèles

Illustration représentant un modèle de deep learning

  • Le temps consacré à l’entraînement est considérable.

 

  • Cela peut prendre des semaines, voire des mois.

 

  • Un entraînement efficace des modèles = une accélération du temps d’entraînement

 

  • 355 années de temps de traitement sur un seul GPU
Concepts des grands modèles de langage (LLM)

Disponibilité des données

 

  • Nécessité de disposer de données de haute qualité
  • Pour acquérir les subtilités et les complexités de la langue

  • Quelques centaines de gigaoctets (Go) de données textuelles

    • Plus d'un million de livres

  • Un volume considérable de données

  Deux piles de dossiers débordants pour symboliser les données volumineuses

Concepts des grands modèles de langage (LLM)

Surmonter les défis

  • Affinage
    • Aborde certains de ces défis
    • Adapte un modèle pré-entraîné

 

  • Modèle pré-entraîné
    • Appris à partir d'ensembles de données à usage général
    • Non optimisé pour des tâches spécifiques
    • Peut être affiné pour répondre à un problème spécifique

Des personnes travaillant sur un ordinateur portable surdimensionné avec des outils et des engrenages symbolisant l’affinage

Concepts des grands modèles de langage (LLM)

Affinage et Pré-entraînement

  • Affinage

  • Calcul

    • 1-2 CPU et GPU

 

  • Durée de l’entraînement
    • De quelques heures à plusieurs jours

 

  • Données
    • Environ 1 gigaoctet

  • Pré-entraînement

  • Calcul

    • Des milliers de CPU et GPU

 

  • Durée de l’entraînement
    • De quelques semaines à plusieurs mois

 

  • Données
    • Des centaines de gigaoctets
Concepts des grands modèles de langage (LLM)

Passons à la pratique !

Concepts des grands modèles de langage (LLM)

Preparing Video For Download...