Affinage avancé

Concepts des grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

Où sommes-nous ?

Image illustrant que nous sommes actuellement à l'étape d’affinage avancé.

Concepts des grands modèles de langage (LLM)

Apprentissage par renforcement grâce au retour d'information humain

 

  • Pré-entraînement

 

  • Affinage

 

  • Entraînement par renforcement à partir de rétroactions humaines (RLHF)

 

Illustration représentant quatre personnes exprimant des commentaires positifs à l'aide d'émoticônes et d'étoiles.

Concepts des grands modèles de langage (LLM)

Pré-entraînement

  • Grandes quantités de données textuelles :
    • Sites Web, ouvrages et articles
    • Architecture de Transformer
    • Apprend les structures linguistiques générales, la grammaire et les faits

 

  • Prévision du mot suivant
  • Modélisation linguistique masquée

Processus de pré-entraînement pour développer des LLM

1 Freepik
Concepts des grands modèles de langage (LLM)

Affinage

 

  • Entraînement N-shot

 

  • Petit ensemble de données étiquetées pour une tâche connexe

Processus d’affinage

Concepts des grands modèles de langage (LLM)

Cependant, intérêt du RLHF ?

  • Les données d'entraînement à usage général manquent de qualité.
    • Bruit
    • Erreurs
    • Incohérences
    • Précision réduite

Exemple de précision réduite :

  • Entraîné à partir de données provenant de forums de discussion en ligne
  • Opinions et faits non validés
  • Nécessite une validation par un expert externe

 

Cible de tir à l'arc avec flèches qui n'ont pas atteint le centre

Concepts des grands modèles de langage (LLM)

Commence par la nécessité d'affiner

  • Pré-entraînement
    • Apprend les schémas linguistiques sous-jacents
    • Ne prend pas en compte les complexités spécifiques au contexte

 

  • Affinage
    • Les données certifiées de qualité améliorent les performances.

 

  • Bienvenue au RLHF !
    • Commentaires des personnes
Concepts des grands modèles de langage (LLM)

Simplification du RLHF

 

  • Résultats du modèle examinés par un expert humain
  • Mise à jour du modèle en fonction des commentaires

 

  • Étape 1 :
    • Reçoit un prompt
    • Génère plusieurs réponses

 

 

un LLM qui traite un prompt en entrée et génère une réponse

Concepts des grands modèles de langage (LLM)

L’intervention d’un expert humain

 

  • Étape 2 :
    • Un expert humain examine ces réponses.
    • Classe les réponses en fonction de leur qualité.
      • Précision
      • Pertinence
      • Cohérence

Ajout d’une vérification humaine à la réponse des LLM

Concepts des grands modèles de langage (LLM)

Il est temps de donner votre avis

  • Étape 3 :
    • Apprend à partir de l’avis de l’expert
    • Objectif : aligner sa réponse future sur ses préférences

 

  • Et on continue !
    • Continue de générer des réponses
    • Reçoit les avis de l’expert
    • Affine l'apprentissage

 

 

La réponse humaine est transmise au LLM.

Concepts des grands modèles de langage (LLM)

Résumé

  • Pré-entraînement pour acquérir des connaissances linguistiques générales

 

  • Affinage pour des tâches spécifiques

 

  • Techniques de RLHF pour améliorer l’affinage grâce aux commentaires humains

 

  • La combinaison est très efficace.
Concepts des grands modèles de langage (LLM)

Finalisation du LLM

Le processus complet d’entraînement des LLM

Concepts des grands modèles de langage (LLM)

Passons à la pratique !

Concepts des grands modèles de langage (LLM)

Preparing Video For Download...