Introduktion till transformatorn

Koncept inom stora språkmodeller (LLM)

Vidhi Chugh

AI strategist and ethicist

Var befinner vi oss?

Förloppsdiagram som visar att vi är vid inlärning av transformatorn

Koncept inom stora språkmodeller (LLM)

Vad är en transformator?

  • "Attention Is All You Need"
    • Revolutionerade språkmodellering

 

  • Transformatorarkitektur
    • Relationer mellan ord
    • Komponenter: förbehandling, positionskodning, kodare och avkodare

Utdrag ur artikeln "Attention is all you need"

1 arXiv: Attention Is All You Need
Koncept inom stora språkmodeller (LLM)

Inuti transformatorn

 

  • Indata: Jane, who lives in New York and works as a software

 

Interna komponenter och dataflöde inuti en transformator

 

  • Utdata: engineer, loves exploring new restaurants in the city.
Koncept inom stora språkmodeller (LLM)

Transformatorer liknar en orkester

Bild på en orkester

Koncept inom stora språkmodeller (LLM)

Textförbehandling och textrepresentation

  • Textförbehandling: tokenisering, borttagning av stoppord, lemmatisering
  • Textrepresentation: ordembäddning

Markering av den första komponenten i en transformator och några enskilda noter

Koncept inom stora språkmodeller (LLM)

Positionskodning

  • Information om varje ords position
  • Förstå avlägsna ord

Markering av den andra komponenten i en transformator och ett musikstycke

Koncept inom stora språkmodeller (LLM)

Kodare

  • Uppmärksamhetsmekanism: riktar fokus mot specifika ord och relationer
  • Neuralt nätverk: bearbetar specifika särdrag

Kodare i transformatorflödet

Koncept inom stora språkmodeller (LLM)

Avkodare

  • Innehåller uppmärksamhetsmekanismer och neurala nätverk
  • Genererar utdata

Avkodarkomponent i en transformator

Koncept inom stora språkmodeller (LLM)

Transformatorer och långväga beroenden

 

  • Ursprunglig utmaning: långväga beroenden
  • Uppmärksamhet: fokus på olika delar av indata

 

  • Exempel: "Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city."

  • "Jane" --- "loves exploring new restaurants"

Koncept inom stora språkmodeller (LLM)

Bearbetar flera delar samtidigt

  • Begränsning hos traditionella språkmodeller:
    • Sekventiella – ett ord i taget

 

  • Transformatorer:
    • Bearbetar flera delar samtidigt
    • Snabbare bearbetning

 

  • Till exempel:
    • "The cat sat on the mat"
    • Bearbetar "cat," "sat," "on," "the," och "mat" samtidigt
Koncept inom stora språkmodeller (LLM)

Nu kör vi en övning!

Koncept inom stora språkmodeller (LLM)

Preparing Video For Download...