Leertechnieken

Concepten van Large Language Models (LLM's)

Vidhi Chugh

AI strategist and ethicist

Waar staan we?

Voorbij datalimieten

 

• Fine-tuning: een voorgetraind model trainen voor een specifieke taak

 

• Maar wat als er weinig tot geen gelabelde data is?

 

• N-shot learning: zero-shot, few-shot en multi-shot

Transfer learning

• Leer van één taak en draag over naar een verwante taak
• Kennis overdragen van piano naar gitaar
  • Noten lezen
  • Ritme begrijpen
  • Muzikale concepten vatten

• N-shot learning
  • Zero-shot – geen taakspecifieke data
  • Few-shot – weinig taakspecifieke data
  • Multi-shot – relatief meer trainingsdata

Zero-shot learning

• Geen expliciete training
• Gebruikt taalbegrip en context
• Generaliseert zonder voorafgaande voorbeelden

¹ Freepik

Few-shot learning

• Leer een nieuwe taak met enkele voorbeelden

• One-shot learning: fine-tuning met één voorbeeld

• Vorige kennis gebruiken om een nieuwe vraag te beantwoorden

Multi-shot learning

• Vereist meer voorbeelden dan few-shot

 

• Vorige taken plus nieuwe voorbeelden

 

• Bijvoorbeeld: een model getraind op Golden Retriever

¹ Freepik

Multi-shot learning

• Modeluitvoer: Labrador Retriever

 

• Bespaart tijd bij het verzamelen en labelen van data

 

• Geen concessies aan nauwkeurigheid

¹ Freepik

Bouwstenen tot nu toe

• Workflow voor datavoorbereiding

 

• Fine-tuning

 

• N-shot learning-technieken

 

• Straks: pre-training

Laten we oefenen!

Concepten van Large Language Models (LLM's)