Die Elemente des LLM-Trainingsprozesses

Konzepte großer Sprachmodelle (LLMs)

Vidhi Chugh

AI strategist and ethicist

In welchem Abschnitt befinden wir uns?

Bild, das den Lernfortschritt vor dem Training zeigt

Konzepte großer Sprachmodelle (LLMs)

Generatives Pre-Training

 

  • Mit generativem Pre-Training trainiert

    • Text-Tokens als Eingabedaten
    • Trainiert, um die Token innerhalb des Datensatzes vorherzusagen

 

  • Typen:
    • Vorhersage des nächsten Wortes
    • Maskierte Sprachmodellierung
Konzepte großer Sprachmodelle (LLMs)

Vorhersage des nächsten Wortes

  • Überwachte Lernmethode
    • Modell, das mit Eingabe-Ausgabe-Paaren trainiert wurde

 

  • Sagt das nächste Wort vorher und erzeugt einen zusammenhängenden Text
  • Erfasst Beziehungen zwischen Wörtern

 

  • Trainingsdaten
    • Beispiele für Eingabe- und Ausgabepaare

Automatische Vorschläge von einer Suchmaschine

Konzepte großer Sprachmodelle (LLMs)

Trainingsdaten für die Vorhersage des nächsten Wortes

Eingabe

Der schnelle Braune

Der schnelle braune Fuchs

Der schnelle braune Fuchs springt

Der schnelle braune Fuchs springt über

Der schnelle braune Fuchs springt über den

Der schnelle braune Fuchs springt über den faulen

Der schnelle braune Fuchs springt über den faulen Hund

Ausgabe

Fuchs

springt

über

den

faulen

Hund

Konzepte großer Sprachmodelle (LLMs)

Welches Wort passt besser zu Pizza?

 

  • Mehr Beispiele = bessere Vorhersage

 

  • Zum Beispiel:
    • Ich esse super gerne Pizza mit _ _ _ _ _ _

 

  • Käse passt einfach am besten zu Pizza

Wahrscheinlichkeiten, mit denen verschiedene Wörter mit dem Wort „Pizza“ assoziiert werden

Konzepte großer Sprachmodelle (LLMs)

Maskierte Sprachmodellierung

  • Verbirgt ein bestimmtes Wort

  • Das trainierte Modell sagt das maskierte Wort voraus

 

  • Originaltext: „Der schnelle braune Fuchs springt über den faulen Hund.“

  • Maskierter Text: „Der schnelle [MASKIERT] Fuchs springt über den faulen Hund.“

 

  • Ziel: Vorhersage des fehlenden Worts

  • Basierend auf den Erkenntnissen aus den Trainingsdaten

Konzepte großer Sprachmodelle (LLMs)

Lass uns üben!

Konzepte großer Sprachmodelle (LLMs)

Preparing Video For Download...