Výzvy jazykového modelování

Koncepty velkých jazykových modelů (LLM)

Vidhi Chugh

AI strategist and ethicist

Na pořadí záleží!

Zdravý životní styl dodržuji jen já.

Různá pozice = různý význam

Jen já dodržuji zdravý životní styl.

Ilustrace osoby se dvěma šipkami v opačných směrech a otazníkem nad hlavou.

¹ Freepik

Modelování kontextu

Obrázek zobrazující slovo „Run", které může mít více významů podle kontextu.

Modelování kontextu

Obrázek zobrazující slovo „Run" ve smyslu běhání.

Modelování kontextu

Obrázek zobrazující slovo „Run" ve smyslu řízení nebo organizování.

Modelování kontextu

Obrázek zobrazující slovo „Run" ve smyslu obsluhy stroje

Modelování kontextu

Obrázek rozšiřující předchozí příklad o různé kontextuální významy slova.

Dlouhodobá závislost

Rozpoznávání a propojování vzdálených slov ve větě
Náročné pro tradiční jazykové modely

Příklad dlouhodobé závislosti: „The book that the young girl, who had just returned from her vacation, carefully placed on the shelf was quite heavy."

Učení na jednu úlohu

Obrázek zobrazující tři příklady učení na jednu úlohu: popisování obrázků, sumarizace textu a překlad.

Časově a výpočetně náročné
Méně flexibilní než moderní LLM

Multitaskové učení

Obrázek zobrazující multitaskové učení kombinující více schopností v jednom modelu.

Lepší výkon na každé jednotlivé úloze
Může ovlivnit přesnost a efektivitu
Méně trénovacích dat díky jejich sdílení

Shrnutí

Výzvy jazykového modelování:

Sekvence slov

Porozumění kontextu

Dlouhodobá závislost

Učení na jednu úlohu:

Zaměřeno na jednu úlohu
Méně flexibilní
Tradiční modely a rané LLM

Multitaskové učení:

Všestranné
Více úloh
Pokročilejší LLM

Pojďme cvičit!

Koncepty velkých jazykových modelů (LLM)