Představení transformeru

Koncepty velkých jazykových modelů (LLM)

Vidhi Chugh

AI strategist and ethicist

Kde se nacházíme?

Graf postupu ukazující, že jsme u učení o transformeru

Koncepty velkých jazykových modelů (LLM)

Co je transformer?

  • "Attention Is All You Need"
    • Revoluce v modelování jazyka

 

  • Architektura transformeru
    • Vztahy mezi slovy
    • Komponenty: předzpracování, poziční kódování, enkodéry a dekodéry

Ukázka z článku "Attention is all you need"

1 arXiv: Attention Is All You Need
Koncepty velkých jazykových modelů (LLM)

Uvnitř transformeru

 

  • Vstup: Jane, která žije v New Yorku a pracuje jako softwarová

 

Vnitřní komponenty a tok dat v transformeru

 

  • Výstup: inženýrka, ráda objevuje nové restaurace ve městě.
Koncepty velkých jazykových modelů (LLM)

Transformery jsou jako orchestr

Obrázek orchestru

Koncepty velkých jazykových modelů (LLM)

Předzpracování a reprezentace textu

  • Předzpracování textu: tokenizace, odstranění stop slov, lemmatizace
  • Reprezentace textu: word embedding

Zvýraznění první komponenty transformeru a jednotlivé noty

Koncepty velkých jazykových modelů (LLM)

Poziční kódování

  • Informace o pozici každého slova
  • Pochopení vzdálených slov

Zvýraznění druhé komponenty transformeru a hudební úryvek

Koncepty velkých jazykových modelů (LLM)

Enkodéry

  • Mechanismus pozornosti: zaměřuje pozornost na konkrétní slova a vztahy
  • Neuronová síť: zpracovává konkrétní rysy

Enkodér v toku transformeru

Koncepty velkých jazykových modelů (LLM)

Dekodéry

  • Zahrnuje pozornost a neuronové sítě
  • Generuje výstup

Komponenta dekodéru transformeru

Koncepty velkých jazykových modelů (LLM)

Transformery a dlouhodobé závislosti

 

  • Počáteční výzva: závislost na velkou vzdálenost
  • Pozornost: zaměření na různé části vstupu

 

  • Příklad: "Jane, která žije v New Yorku a pracuje jako softwarová inženýrka, ráda objevuje nové restaurace ve městě."

  • "Jane" --- "ráda objevuje nové restaurace"

Koncepty velkých jazykových modelů (LLM)

Zpracovává více částí současně

  • Omezení tradičních jazykových modelů:
    • Sekvenční - jedno slovo po druhém

 

  • Transformery:
    • Zpracovávají více částí současně
    • Rychlejší zpracování

 

  • Například:
    • "Kočka seděla na rohožce"
    • Zpracuje "kočka", "seděla", "na", "rohožce" současně
Koncepty velkých jazykových modelů (LLM)

Pojďme cvičit!

Koncepty velkých jazykových modelů (LLM)

Preparing Video For Download...