Obecný přehled NLP

Koncepty velkých jazykových modelů (LLM)

Vidhi Chugh

AI strategist and ethicist

Kde jsme?

Graf průběhu zobrazující první krok, tj. předzpracování textu

Koncepty velkých jazykových modelů (LLM)

Předzpracování textu

  • Kroky lze provádět v libovolném pořadí, jsou nezávislé

Tři nejčastější kroky předzpracování textu

Koncepty velkých jazykových modelů (LLM)

Tokenizace

  • Rozdělí text na jednotlivá slova neboli tokeny

 

  • Text:

    • "Working with natural language processing techniques is tricky."

     

  • Tokenizace:

    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "tricky", "."]
    • Převede na seznam
Koncepty velkých jazykových modelů (LLM)

Odstranění stop slov

  • Stop slova nepřidávají význam
  • Odstraňují se pomocí filtrování stop slov

 

  • Před odstraněním stop slov:
    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "challenging", "."]

 

  • Po odstranění stop slov:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
Koncepty velkých jazykových modelů (LLM)

Lemmatizace

 

  • Seskupí podobná slova s příbuzným významem

 

  • Redukuje slova na jejich základní tvar

 

  • Mapování na kořenové slovo

 

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

Koncepty velkých jazykových modelů (LLM)

Reprezentace textu

Graf průběhu zobrazující, že jsme dosáhli fáze reprezentace textu

Koncepty velkých jazykových modelů (LLM)

Reprezentace textu

 

  • Textová data do numerické podoby

 

  • Bag-of-words
  • Slovní vektory

Obrázek znázorňující řeč jako čísla

Koncepty velkých jazykových modelů (LLM)

Bag-of-words

 

  • Text do matice četností slov

Matice s reprezentací bag-of-words

  • 0 označuje nepřítomnost slova
Koncepty velkých jazykových modelů (LLM)

Omezení bag-of-words

  • Nezachycuje pořadí ani kontext

    • Může vést k nesprávným interpretacím
    • Podobné věty, ale opačný význam
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • Nezachycuje sémantiku mezi slovy

    • Považuje příbuzná slova za nezávislá
    • Např. "cat" a "mouse"
Koncepty velkých jazykových modelů (LLM)

Slovní vektory

  • Zachycuje sémantický význam jako čísla

 

Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8

 

  • Cat [-0.9, 0.9, 0.9]
  • Vztah predátor–kořist:

Slovní vektory predátora a kořisti

Koncepty velkých jazykových modelů (LLM)

Strojově čitelná forma

 

  • Začínáme předzpracováním textu

Pracovní postup přípravy dat

Koncepty velkých jazykových modelů (LLM)

Strojově čitelná forma

 

  • Převod předzpracovaného textu do numerického formátu

Pracovní postup přípravy dat s kroky reprezentace textu

Koncepty velkých jazykových modelů (LLM)

Pojďme si procvičit!

Koncepty velkých jazykových modelů (LLM)

Preparing Video For Download...