Techniques d'apprentissage

Concepts sur les grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

Où en sommes-nous ?

Dépasser les limites des données

 

• Ajustement fin : entraîner un modèle préentraîné pour une tâche précise

 

• Et s'il y a peu ou pas de données annotées ?

 

• Apprentissage N-shot : zero-shot, few-shot et multi-shot

Apprentissage par transfert

• Apprendre d'une tâche et transférer à une tâche connexe
• Transférer des connaissances du piano à la guitare
  • Lire les notes de musique
  • Comprendre le rythme
  • Saisir les concepts musicaux

• Apprentissage N-shot
  • Zero-shot : aucune donnée propre à la tâche
  • Few-shot : peu de données propres à la tâche
  • Multi-shot : davantage de données d'entraînement

Apprentissage zero-shot

• Aucun entraînement explicite
• S'appuie sur la compréhension linguistique et le contexte
• Généralise sans exemples préalables

¹ Freepik

Apprentissage few-shot

• Apprendre une nouvelle tâche avec quelques exemples

• One-shot learning : ajustement fin à partir d'un seul exemple

• Connaissances préalables pour répondre à une nouvelle question

Apprentissage multi-shot

• Exige plus d'exemples que le few-shot

 

• Tâches précédentes, plus de nouveaux exemples

 

• Par exemple, un modèle entraîné sur le Golden Retriever

¹ Freepik

Apprentissage multi-shot

• Sortie du modèle : Labrador Retriever

 

• Économise le temps de collecte et d'annotation des données

 

• Sans compromis sur la précision

¹ Freepik

Blocs de base jusqu'ici

• Flux de préparation des données

 

• Ajustement fin

 

• Techniques d'apprentissage N-shot

 

• À suivre : préentraînement

Passons à la pratique !

Concepts sur les grands modèles de langage (LLM)