De transformer introduceren

Concepten van Large Language Models (LLM's)

Vidhi Chugh

AI strategist and ethicist

Waar staan we?

Voortgangsgrafiek die laat zien dat we bij transformer learning zijn

Concepten van Large Language Models (LLM's)

Wat is een transformer?

  • "Attention Is All You Need"
    • Zorgde voor een revolutie in taalmodellen

 

  • Transformer-architectuur
    • Relaties tussen woorden
    • Componenten: pre-processing, positionele codering, encoders en decoders

Fragment van het artikel "Attention is all you need"

1 arXiv: Attention Is All You Need
Concepten van Large Language Models (LLM's)

Binnen in de transformer

 

  • Input: Jane, who lives in New York and works as a software

 

Interne componenten en gegevensstroom binnen een transformer

 

  • Output: engineer, loves exploring new restaurants in the city.
Concepten van Large Language Models (LLM's)

Transformers zijn als een orkest

Afbeelding van een orkest

Concepten van Large Language Models (LLM's)

Tekst-preprocessing en representatie

  • Tekst-preprocessing: tokenization, stopwoorden verwijderen, lemmatisering
  • Tekstreprensentatie: word embedding

Highlight van de eerste component van een transformer en enkele losse noten

Concepten van Large Language Models (LLM's)

Positionele codering

  • Informatie over de positie van elk woord
  • Begrijp woorden die ver uit elkaar staan

Highlight van de tweede component van een transformer en een muziekstuk

Concepten van Large Language Models (LLM's)

Encoders

  • Attention-mechanisme: richt aandacht op specifieke woorden en relaties
  • Neuraal netwerk: verwerkt specifieke kenmerken

Encoder in de transformer-flow

Concepten van Large Language Models (LLM's)

Decoders

  • Bevat attention en neurale netwerken
  • Genereert de output

Decodercomponent van een transformer

Concepten van Large Language Models (LLM's)

Transformers en long-range dependencies

 

  • Oorspronkelijke uitdaging: long-range dependency
  • Attention: focus op verschillende delen van de input

 

  • Voorbeeld: "Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city."

  • "Jane" --- "loves exploring new restaurants"

Concepten van Large Language Models (LLM's)

Verwerkt meerdere delen tegelijk

  • Beperking van traditionele taalmodellen:
    • Sequentieel — één woord tegelijk

 

  • Transformers:
    • Verwerken meerdere delen tegelijk
    • Snellere verwerking

 

  • Bijvoorbeeld:
    • "The cat sat on the mat"
    • Verwerkt "cat", "sat", "on", "the" en "mat" tegelijk
Concepten van Large Language Models (LLM's)

Laten we oefenen!

Concepten van Large Language Models (LLM's)

Preparing Video For Download...