Éléments constitutifs pour entraîner des LLM

Concepts des grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

Où sommes-nous ?

Image illustrant les progrès réalisés au cours du pré-entraînement

Concepts des grands modèles de langage (LLM)

Pré-entraînement génératif

 

  • Entraîné à l'aide d'un pré-entraînement génératif

    • Données d'entrée des tokens (ou jetons) de texte
    • Entraîné pour prédire les tokens dans l'ensemble de données

 

  • Types :
    • Prévision du mot suivant
    • Modélisation linguistique masquée
Concepts des grands modèles de langage (LLM)

Prévision du mot suivant

  • Technique d'apprentissage supervisé
    • Modèle entraîné sur des paires d'entrée-sortie

 

  • Prévoit le mot suivant et génère un texte cohérent
  • Capture les relations de dépendance entre les mots

 

  • Données d'entraînement
    • Exemples de paires d'entrées et de sorties

Suggestion automatique par un moteur de recherche

Concepts des grands modèles de langage (LLM)

Données d'entraînement pour la prédiction du mot suivant

Entrée

The quick brown

The quick brown fox

The quick brown fox jumps

The quick brown fox jumps over

The quick brown fox jumps over the

The quick brown fox jumps over the lazy

The quick brown fox jumps over the lazy dog.

Résultat

fox

jumps

over

the

lazy

dog

Concepts des grands modèles de langage (LLM)

Quel mot est le plus associé à la pizza ?

 

  • Plus d'exemples = meilleure prédiction

 

  • Par exemple :
    • J’aime manger de la pizza avec _ _ _ _ _ _

 

  • Le fromage est plus associé à la pizza qu'à toute autre chose.

Probabilités d'association de différents mots avec le mot « Pizza »

Concepts des grands modèles de langage (LLM)

Modélisation linguistique masquée

  • Masque un mot spécifique

  • Le modèle entraîné prédit le mot masqué.

 

  • Texte original : «The quick brown fox jumps over the lazy dog. »

  • Texte masqué : « The quick [MASK] fox jumps over the lazy dog. »

 

  • Objectif : prédire le mot manquant

  • Basé sur les enseignements tirés des données d'entraînement

Concepts des grands modèles de langage (LLM)

Passons à la pratique !

Concepts des grands modèles de langage (LLM)

Preparing Video For Download...