Lernmethoden

Konzepte großer Sprachmodelle (LLMs)

Vidhi Chugh

AI strategist and ethicist

In welchem Abschnitt befinden wir uns?

Fortschrittsdiagramm, das zeigt, dass wir die Feinabstimmungsphase erreicht haben

Konzepte großer Sprachmodelle (LLMs)

Datenbeschränkungen überwinden

 

  • Fine-Tuning / Feinabstimmung: Ein bereits trainiertes Modell für eine bestimmte Aufgabe trainieren

 

  • Aber was ist, wenn es kaum oder gar keine gekennzeichneten Daten gibt?

 

  • N-Shot-Lernen: Zero-Shot, Few-Shot und Multi-Shot
Konzepte großer Sprachmodelle (LLMs)

Transferlernen

  • Aus einer Aufgabe lernen und das Gelernte auf ähnliche Aufgaben anwenden
  • Vom Klavierspiel auf das Gitarrenspiel
    • Noten lesen
    • Rhythmus verstehen
    • Musikalische Konzepte verstehen
  • N-shot-Lernen
    • Zero-Shot – keine Daten
    • Few-Shot – wenige Daten
    • Multi-Shot – relativ viele Trainingsdaten

Bild von einem Klavier und einer Gitarre

Konzepte großer Sprachmodelle (LLMs)

Zero-Shot-Lernen

  • Kein spezielles Training
  • Nutzt Sprachverständnis und Kontext
  • Verallgemeinert ohne vorherige Beispiele

Ein Bild, das zeigt, wie das separate Training mit Pferden und Streifen dem Modell hilft, Zebras zu erkennen.

1 Freepik
Konzepte großer Sprachmodelle (LLMs)

Few-Shot-Lernen

  • Lernen neuer Aufgaben mit Beispielen

Ein Bild, das ein Klassenzimmer zeigt

  • One-Shot-Lernen: Feinabstimmung anhand eines einzigen Beispiels
  • Vorwissen, um neue Fragen zu beantworten

Ein Bild, das ein Kind beim Schreiben einer Prüfung zeigt

Konzepte großer Sprachmodelle (LLMs)

Multi-Shot-Lernen

  • Benötigt mehr Beispiele als Few-Shot

 

  • Vorherige Aufgaben plus neue Beispiele

 

  • Zum Beispiel ein Modell, das mit Golden Retrievern trainiert wurde

Bilder von drei Golden Retrievern

1 Freepik
Konzepte großer Sprachmodelle (LLMs)

Multi-Shot-Lernen

  • Modellausgabe: Labrador Retriever

 

  • Spart Zeit beim Sammeln und Kennzeichnen von Daten

 

  • Keine Kompromisse bei der Genauigkeit

Ein Bild von einem Labrador

1 Freepik
Konzepte großer Sprachmodelle (LLMs)

Bisherige Bausteine

  • Workflow zur Datenaufbereitung

 

  • Fine-tuning / Feinabstimmung

 

  • N-Shot-Lernmethoden

 

  • Als nächstes: Pre-Training / Vorabtraining
Konzepte großer Sprachmodelle (LLMs)

Lass uns üben!

Konzepte großer Sprachmodelle (LLMs)

Preparing Video For Download...