Mechanismy pozornosti

Koncepty velkých jazykových modelů (LLM)

Vidhi Chugh

AI strategist and ethicist

Mechanismy pozornosti

  • Porozumění složitým strukturám
  • Zaměření na důležitá slova

 

  • Analogie se čtením knihy:
    • Stopy v detektivním příběhu
    • Zaměření na relevantní obsah
    • Soustředění na klíčová vstupní data

Otevřená kniha s lupou

Koncepty velkých jazykových modelů (LLM)

Vlastní a vícehlasá pozornost

Vlastní pozornost

  • Váží důležitost každého slova

 

  • Zachycuje dlouhodobé závislosti

Vícehlasá pozornost

  • Rozšíření vlastní pozornosti

 

  • Rozděluje vstup do více hlav, každá se zaměřuje na jiný aspekt
Koncepty velkých jazykových modelů (LLM)

Pozornost na večírku

  • Pozornost: vlastní a vícehlasá

 

  • Příklad:
    • Skupinová konverzace na večírku
    • Selektivní pozornost k relevantnímu mluvčímu
    • Filtrování šumu
    • Zaměření na klíčové body

 

Lidé sedící a vedoucí skupinový rozhovor

1 Freepik
Koncepty velkých jazykových modelů (LLM)

Večírek pokračuje

Vlastní pozornost

  • Zaměření na slova každé osoby
  • Vyhodnocení a porovnání relevance
  • Vážení příspěvku každého mluvčího
  • Kombinace pro komplexní porozumění

Vícehlasá pozornost

  • Rozdělení pozornosti do "více" kanálů
  • Zaměření na různé aspekty rozhovoru
  • Emoce mluvčího, hlavní téma a vedlejší témata
  • Zpracování každého aspektu a sloučení
Koncepty velkých jazykových modelů (LLM)

Výhody vícehlasé pozornosti

  • „Chlapec šel do obchodu koupit potraviny a našel slevu na své oblíbené cereálie."

 

  • Pozornost: „chlapec", „obchod", „potraviny" a „sleva"
  • Vlastní pozornost: „chlapec" a „on" -> tatáž osoba
  • Vícehlasá pozornost: více kanálů
    • Postava („chlapec")
    • Akce („šel do obchodu", „našel slevu")
    • Věci („potraviny", „cereálie")
Koncepty velkých jazykových modelů (LLM)

Pojďme si procvičit!

Koncepty velkých jazykových modelů (LLM)

Preparing Video For Download...