Uitdagingen bij taalmodellering

Concepten van Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Volgorde telt!

 

  • Ik volg alleen een gezonde levensstijl.

 

 

  • Andere plek = andere betekenis

 

  • Alleen ik volg een gezonde levensstijl.

Illustratie van een persoon met twee pijlen in tegengestelde richtingen en een vraagteken boven het hoofd.

1 Freepik
Concepten van Large Language Models (LLMs)

Context modelleren

Een afbeelding met het woord 'Run' dat meerdere betekenissen kan hebben afhankelijk van de context.

Concepten van Large Language Models (LLMs)

Context modelleren

Een afbeelding met het woord 'Run' in de betekenis van joggen.

Concepten van Large Language Models (LLMs)

Context modelleren

Een afbeelding met het woord 'Run' in de betekenis van beheren of organiseren.

Concepten van Large Language Models (LLMs)

Context modelleren

Een afbeelding met het woord 'Run' in de betekenis van een machine bedienen

Concepten van Large Language Models (LLMs)

Context modelleren

Meer context toevoegen aan de vorige afbeelding door verschillende betekenissen met voorbeelden te tonen.

Concepten van Large Language Models (LLMs)

Langeafstandsafhankelijkheid

 

  • Herken en verbind verre woorden in een zin
  • Lastig voor traditionele taalmodellen

Een voorbeeld van langeafstandsafhankelijkheid: "The book that the young girl, who had just returned from her vacation, carefully placed on the shelf was quite heavy."

Concepten van Large Language Models (LLMs)

Single-task learning

Een afbeelding met drie voorbeelden van single-task learning, zoals beeldondertiteling, samenvatten van tekst en vertaling.

  • Kost veel tijd en middelen
  • Minder flexibel dan moderne LLM's
Concepten van Large Language Models (LLMs)

Multi-task learning

Een afbeelding met multi-task learning die meerdere vaardigheden in één model combineert.

  • Betere prestaties per taak
  • Kan nauwkeurigheid en efficiëntie beïnvloeden
  • Minder trainingsdata nodig door gedeelde data
Concepten van Large Language Models (LLMs)

Samenvatting

Uitdagingen bij taalmodellering:

  • Woordvolgorde

 

  • Context begrijpen

 

  • Langeafstandsafhankelijkheid

Single-task learning:

  • Taakspecifiek
  • Minder flexibel
  • Traditionele modellen en vroege LLM's

 

Multi-task learning:

  • Veelzijdig
  • Meerdere taken
  • Meer ontwikkelde LLM's
Concepten van Large Language Models (LLMs)

Laten we oefenen!

Concepten van Large Language Models (LLMs)

Preparing Video For Download...