Introductie van de transformer

Concepten van Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Waar zijn we?

Voortgangsdiagram dat laat zien dat we bij transformer-leren zijn

Concepten van Large Language Models (LLMs)

Wat is een transformer?

  • "Attention Is All You Need"
    • Revoluties in taalmodellering

 

  • Transformer-architectuur
    • Relaties tussen woorden
    • Componenten: voorbewerking, positionele codering, encoders en decoders

Uitsnede van het artikel "Attention is all you need"

1 arXiv: Attention Is All You Need
Concepten van Large Language Models (LLMs)

Binnen in de transformer

 

  • Input: Jane, who lives in New York and works as a software

 

Interne componenten en dataflow binnen een transformer

 

  • Output: engineer, loves exploring new restaurants in the city.
Concepten van Large Language Models (LLMs)

Transformers zijn als een orkest

Afbeelding van een orkest

Concepten van Large Language Models (LLMs)

Tekstvoorbewerking en representatie

  • Tekstvoorbewerking: tokenization, stopwoorden verwijderen, lemmatisering
  • Tekstrepr.: word embeddings

Markering van de eerste component van een transformer en enkele individuele noten

Concepten van Large Language Models (LLMs)

Positionele codering

  • Positie-informatie van elk woord
  • Begrijpt verre woorden

Markering van de tweede component van een transformer en een muziekstuk

Concepten van Large Language Models (LLMs)

Encoders

  • Attention-mechanisme: richt focus op specifieke woorden en relaties
  • Neuraal netwerk: verwerkt specifieke kenmerken

Encoder in de transformer-flow

Concepten van Large Language Models (LLMs)

Decoders

  • Bevat attention en neurale netwerken
  • Genereert de output

Decodercomponent van een transformer

Concepten van Large Language Models (LLMs)

Transformers en lange-afstandsafhankelijkheden

 

  • Oorspronkelijke uitdaging: long-range dependency
  • Attention: focust op verschillende delen van de input

 

  • Voorbeeld: "Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city."

  • "Jane" --- "loves exploring new restaurants"

Concepten van Large Language Models (LLMs)

Verwerkt meerdere delen tegelijk

  • Beperking van traditionele taalmodellen:
    • Sequentieel: één woord tegelijk

 

  • Transformers:
    • Verwerken meerdere delen tegelijk
    • Snellere verwerking

 

  • Bijv.:
    • "The cat sat on the mat"
    • Verwerkt "cat", "sat", "on", "the" en "mat" tegelijk
Concepten van Large Language Models (LLMs)

Laten we oefenen!

Concepten van Large Language Models (LLMs)

Preparing Video For Download...