Herausforderungen der Sprachmodellierung

Konzepte großer Sprachmodelle (LLMs)

Vidhi Chugh

AI strategist and ethicist

Die Reihenfolge ist wichtig!

 

  • Ich lebe nur gesund.

 

 

  • Verschiedene Positionen = verschiedene Bedeutungen

 

  • Nur ich lebe gesund.

Bild von einer Person mit zwei Pfeilen in entgegengesetzte Richtungen und einem Fragezeichen über dem Kopf.

1 Freepik
Konzepte großer Sprachmodelle (LLMs)

Kontextmodellierung

Ein Bild mit dem Wort „Run“ kann je nach Kontext verschiedene Bedeutungen haben.

Konzepte großer Sprachmodelle (LLMs)

Kontextmodellierung

Ein Bild, das das Wort „Laufen” zeigt, um Joggen zu bedeuten.

Konzepte großer Sprachmodelle (LLMs)

Kontextmodellierung

Ein Bild, das das Wort „Run“ zeigt, was so viel wie „leiten“ oder „organisieren“ bedeutet.

Konzepte großer Sprachmodelle (LLMs)

Kontextmodellierung

Ein Bild, das das Wort „Run“ zeigt, was so viel heißt wie „eine Maschine bedienen“

Konzepte großer Sprachmodelle (LLMs)

Kontextmodellierung

Mehr Kontext zum vorherigen Bild, indem verschiedene Bedeutungen mit Beispielen gezeigt werden.

Konzepte großer Sprachmodelle (LLMs)

Beziehungen zwischen voneinander entfernten Wörtern

 

  • Erkennen und verbinden voneinander entfernter Wörter in einem Satz
  • Eine Herausforderung für traditionelle Sprachmodelle

Ein Beispiel für eine Beziehung voneinander entfernter Wörter: "Das Buch, das das junge Mädchen, das gerade aus dem Urlaub zurückgekehrt war, sorgfältig in das Regal stellte, war ziemlich schwer."

Konzepte großer Sprachmodelle (LLMs)

Single-Task-Lernen

Ein Bild mit drei Beispielen für das Lernen einzelner Aufgaben wie Bildbeschriftung, Textzusammenfassung und Sprachübersetzung.

  • Zeit- und ressourcenintensiv
  • Weniger flexibel als moderne LLMs
Konzepte großer Sprachmodelle (LLMs)

Multi-Task-Lernen

Ein Bild, das das Multitask-Lernen zeigt, bei dem mehrere Fähigkeiten in einem Modell kombiniert werden.

  • Bessere Leistung bei jeder einzelnen Aufgabe
  • Kann die Genauigkeit und Effizienz beeinträchtigen
  • Weniger Trainingsdaten nötig, weil Daten geteilt werden
Konzepte großer Sprachmodelle (LLMs)

Zusammenfassung

Herausforderungen der Sprachmodellierung

  • Wortfolgen

 

  • Den Kontext verstehen

 

  • Beziehungen zwischen voneinander entfernten Wörtern

Single-Task-Lernen:

  • Aufgabenspezifisch
  • Weniger flexibel
  • Traditionelle Modelle und frühe LLMs

 

Multi-Task-Lernen:

  • Vielseitig
  • Mehrere Aufgaben
  • Weiterentwickelte LLMs
Konzepte großer Sprachmodelle (LLMs)

Lass uns üben!

Konzepte großer Sprachmodelle (LLMs)

Preparing Video For Download...