Ogólny przegląd NLP

Koncepcje dużych modeli językowych (LLM)

Vidhi Chugh

AI strategist and ethicist

Gdzie jesteśmy?

Wykres postępu pokazujący pierwszy etap, tj. wstępne przetwarzanie tekstu

Koncepcje dużych modeli językowych (LLM)

Wstępne przetwarzanie tekstu

  • Można wykonywać w dowolnej kolejności – są niezależne

Trzy najczęstsze kroki wstępnego przetwarzania tekstu

Koncepcje dużych modeli językowych (LLM)

Tokenizacja

  • Dzieli tekst na pojedyncze słowa, czyli tokeny

 

  • Tekst:

    • "Working with natural language processing techniques is tricky."

     

  • Tokenizacja:

    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "tricky", "."]
    • Zamienia na listę
Koncepcje dużych modeli językowych (LLM)

Usuwanie stop words

  • Stop words nie wnoszą znaczenia
  • Usuwane przez filtrowanie stop words

 

  • Przed usunięciem stop words:
    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "challenging", "."]

 

  • Po usunięciu stop words:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
Koncepcje dużych modeli językowych (LLM)

Lematyzacja

 

  • Grupuje podobne słowa o zbliżonym znaczeniu

 

  • Sprowadza słowa do formy podstawowej

 

  • Mapowane do słowa bazowego

 

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

Koncepcje dużych modeli językowych (LLM)

Reprezentacja tekstu

Wykres postępu pokazujący, że osiągnęliśmy etap reprezentacji tekstu

Koncepcje dużych modeli językowych (LLM)

Reprezentacja tekstu

 

  • Dane tekstowe w postaci numerycznej

 

  • Bag-of-words
  • Osadzenia słów

Obraz przedstawiający mowę jako liczby

Koncepcje dużych modeli językowych (LLM)

Bag-of-words

 

  • Tekst w macierzy liczby wystąpień słów

Macierz z reprezentacją bag-of-words

  • 0 oznacza brak słowa
Koncepcje dużych modeli językowych (LLM)

Ograniczenia bag-of-words

  • Nie uwzględnia kolejności ani kontekstu

    • Może prowadzić do błędnych interpretacji
    • Podobne zdania o przeciwnym znaczeniu
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • Nie uwzględnia semantyki między słowami

    • Traktuje powiązane słowa jako niezależne
    • Np. "cat" i "mouse"
Koncepcje dużych modeli językowych (LLM)

Osadzenia słów

  • Znaczenia semantyczne jako liczby

 

Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8

 

  • Cat [-0.9, 0.9, 0.9]
  • Relacja drapieżnik–ofiara:

Osadzenia słów drapieżnik-ofiara

Koncepcje dużych modeli językowych (LLM)

Postać czytelna maszynowo

 

  • Zacznij od wstępnego przetwarzania tekstu

Przepływ pracy przygotowania danych

Koncepcje dużych modeli językowych (LLM)

Postać czytelna maszynowo

 

  • Konwersja przetworzonego tekstu do postaci numerycznej

Przepływ pracy przygotowania danych z etapami reprezentacji tekstu

Koncepcje dużych modeli językowych (LLM)

Czas na ćwiczenia!

Koncepcje dużych modeli językowych (LLM)

Preparing Video For Download...