Utmaningar med språkmodellering

Koncept inom stora språkmodeller (LLM)

Vidhi Chugh

AI strategist and ethicist

Ordföljden spelar roll!

Jag följer bara en hälsosam livsstil.

Olika positioner = olika betydelser

Bara jag följer en hälsosam livsstil.

Illustration av en person med två pilar i motsatta riktningar och ett frågetecken ovanför huvudet.

¹ Freepik

Kontextmodellering

En bild som visar att ordet 'Run' kan ha flera betydelser beroende på sammanhanget.

Kontextmodellering

En bild som visar att ordet 'Run' betyder joggning.

Kontextmodellering

En bild som visar att ordet 'Run' betyder att leda eller organisera.

Kontextmodellering

En bild som visar att ordet 'Run' betyder att driva en maskin.

Kontextmodellering

Föregående bild kompletteras med kontext som illustrerar olika kontextuella betydelser med hjälp av exempel.

Långväga beroenden

Känna igen och koppla samman avlägsna ord i en mening
Utmanande för traditionella språkmodeller

Ett exempel på långväga beroende: "The book that the young girl, who had just returned from her vacation, carefully placed on the shelf was quite heavy."

Enuppgiftsinlärning

En bild som visar tre exempel på enuppgiftsinlärning: bildtextning, textsammanfattning och språköversättning.

Tids- och resurskrävande
Mindre flexibelt jämfört med moderna LLM:er

Fleruppgiftsinlärning

En bild som visar fleruppgiftsinlärning där flera förmågor kombineras i en modell.

Förbättrad prestanda på varje enskild uppgift
Kan påverka precision och effektivitet
Mindre träningsdata behövs tack vare delad data

Sammanfattning

Utmaningar med språkmodellering:

Ordsekvenser

Förståelse av kontext

Långväga beroenden

Enuppgiftsinlärning:

Uppgiftsspecifik
Mindre flexibel
Traditionella modeller och tidiga LLM:er

Fleruppgiftsinlärning:

Mångsidig
Flera uppgifter
Mer avancerade LLM:er

Nu kör vi en övning!

Koncept inom stora språkmodeller (LLM)