Leertechnieken

Concepten van Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Waar staan we?

Voortgangsgrafiek die laat zien dat we bij de fine-tuningfase zijn

Concepten van Large Language Models (LLMs)

Voorbij datalimieten komen

 

  • Fine-tuning: een voorgetraind model trainen voor een specifieke taak

 

  • Maar wat als er weinig tot geen gelabelde data is?

 

  • N-shot learning: zero-shot, few-shot en multi-shot
Concepten van Large Language Models (LLMs)

Transfer learning

  • Leer van één taak en draag over naar een verwante taak
  • Kennis overdragen van piano naar gitaar
    • Noten lezen
    • Ritme begrijpen
    • Muzikale concepten vatten
  • N-shot learning
    • Zero-shot - geen taakspecifieke data
    • Few-shot - weinig taakspecifieke data
    • Multi-shot - relatief meer trainingsdata

Illustratie van een piano en een gitaar

Concepten van Large Language Models (LLMs)

Zero-shot learning

  • Geen expliciete training
  • Gebruikt taalbegrip en context
  • Generaliseert zonder voorafgaande voorbeelden

Een afbeelding die laat zien hoe apart trainen op paard en strepen het model helpt een zebra te herkennen.

1 Freepik
Concepten van Large Language Models (LLMs)

Few-shot learning

  • Leer een nieuwe taak met een paar voorbeelden

Een afbeelding van een klaslokaal

  • One-shot learning: fine-tunen met één voorbeeld
  • Vorige kennis om een nieuwe vraag te beantwoorden

Een afbeelding van een kind dat een examen schrijft

Concepten van Large Language Models (LLMs)

Multi-shot learning

  • Vergt meer voorbeelden dan few-shot

 

  • Eerdere taken plus nieuwe voorbeelden

 

  • Bijv. een model getraind op Golden Retriever

Afbeeldingen van drie Golden Retrievers

1 Freepik
Concepten van Large Language Models (LLMs)

Multi-shot learning

  • Modeloutput: Labrador Retriever

 

  • Bespaart tijd bij verzamelen en labelen

 

  • Geen concessie aan nauwkeurigheid

Een afbeelding van een labrador

1 Freepik
Concepten van Large Language Models (LLMs)

Bouwstenen tot nu toe

  • Workflow voor datavoorbereiding

 

  • Fine-tuning

 

  • N-shot learningtechnieken

 

  • Straks: pre-training
Concepten van Large Language Models (LLMs)

Laten we oefenen!

Concepten van Large Language Models (LLMs)

Preparing Video For Download...