Novost LLM

Koncepty velkých jazykových modelů (LLM)

Vidhi Chugh

AI strategist and ethicist

Práce s textovými daty

Obrázek zobrazující analýzu sentimentu, detekci spamu a digitální asistenty

  • Nestrukturovaná data – nepřehledná a nekonzistentní
1 Freepik
Koncepty velkých jazykových modelů (LLM)

Počítače jazyku nerozumějí!

Obrázek zobrazující neschopnost počítače interpretovat jazyk v jeho přirozené podobě

1 Freepik
Koncepty velkých jazykových modelů (LLM)

Proč je NLP potřeba

 

Obrázek zobrazující NLP jako most mezi textem a čísly, kterým počítač rozumí

1 Freepik
Koncepty velkých jazykových modelů (LLM)

Jedinečné schopnosti LLM

 

  • Jazykové nuance
    • Ironie
    • Humor
    • Slovní hříčka
    • Sarkasmus
    • Intonace
    • Záměr

Osoba s clipboardem ukazující na text a velký otazník

1 Freepik
Koncepty velkých jazykových modelů (LLM)

Jaká je vaše oblíbená kniha?

 

  • Přirozená reakce: "Ach, to je těžká otázka!"

 

  • Osobní názor: "Moje oblíbená kniha je Zabít ptáčka od Harper Lee."

 

  • Podpůrné tvrzení: "Je to mocný příběh o předsudcích, spravedlnosti a lidském údělu."

 

  • Doplňující otázka: "Četli jste ji?"
Koncepty velkých jazykových modelů (LLM)

Jazykové nuance

Sarkasmus: "Ach skvěle, další schůzka."

Tradiční jazykový model:

  • Odpověď: "O čem je ta schůzka?"
    • Neutrální
    • Sarkasmus nerozpozná

 

Velký jazykový model:

  • Odpověď: "Zdá se, že se na to těšíte!"
    • Hravý
    • Poutavý
    • Odpovídá sarkasmu
Koncepty velkých jazykových modelů (LLM)

Jak LLM rozumějí jazyku

 

  • Trénováno na obrovském množství dat

  • Velikost LLM: parametry

  • Parametry reprezentují vzory a pravidla

  • Více parametrů -> složitější vzory

  • Generuje sofistikované a přesné odpovědi

Koncepty velkých jazykových modelů (LLM)

Parametry

 

  • Malý počet kostek -> omezené struktury

Obrázek zobrazující malý počet kostek

 

  • Větší počet kostek -> složité a detailní struktury

Obrázek zobrazující velký počet kostek

Koncepty velkých jazykových modelů (LLM)

Vznik nových schopností

 

  • Emergentní schopnosti
    • přítomné pouze u rozsáhlých modelů

 

  • Rozsah:

    • Objem trénovacích dat
    • Počet parametrů modelu

 

Graf zobrazující náhlé zlepšení výkonu modelu při překročení prahové hodnoty rozsahu

Koncepty velkých jazykových modelů (LLM)

Vznik nových schopností

 

Obrázek zobrazující nové schopnosti: hudba, poezie, generování kódu, lékařská diagnostika a skupiny léčby

Koncepty velkých jazykových modelů (LLM)

Stavební bloky LLM

Stavební bloky LLM

Koncepty velkých jazykových modelů (LLM)

Shrnutí

LLM:

  • Překonávají nestrukturovanou povahu dat

 

  • Překonávají tradiční modely

 

  • Rozumějí jazykovým nuancím

Jak?

  • LLM's "largeness"
  • Rozsáhlá trénovací data
  • Velký počet parametrů
  • Emergentní schopnosti
Koncepty velkých jazykových modelů (LLM)

Let's practice!

Koncepty velkých jazykových modelů (LLM)

Preparing Video For Download...