Wprowadzenie do transformera

Koncepcje dużych modeli językowych (LLM)

Vidhi Chugh

AI strategist and ethicist

Gdzie jesteśmy?

Wykres postępu pokazujący etap nauki o transformerach

Koncepcje dużych modeli językowych (LLM)

Czym jest transformer?

  • „Attention Is All You Need"
    • Zrewolucjonizowało modelowanie języka

 

  • Architektura transformera
    • Relacje między słowami
    • Komponenty: przetwarzanie wstępne, kodowanie pozycyjne, enkodery i dekodery

Fragment artykułu „Attention is all you need"

1 arXiv: Attention Is All You Need
Koncepcje dużych modeli językowych (LLM)

Wnętrze transformera

 

  • Wejście: Jane, która mieszka w Nowym Jorku i pracuje jako inżynier oprogramowania

 

Wewnętrzne komponenty i przepływ danych wewnątrz transformera

 

  • Wyjście: uwielbia odkrywać nowe restauracje w mieście.
Koncepcje dużych modeli językowych (LLM)

Transformery są jak orkiestra

Zdjęcie orkiestry

Koncepcje dużych modeli językowych (LLM)

Wstępne przetwarzanie i reprezentacja tekstu

  • Przetwarzanie tekstu: tokenizacja, usuwanie stop słów, lematyzacja
  • Reprezentacja tekstu: osadzanie słów

Wyróżnienie pierwszego komponentu transformera z przykładowymi notatkami

Koncepcje dużych modeli językowych (LLM)

Kodowanie pozycyjne

  • Informacja o pozycji każdego słowa
  • Rozumienie odległych słów

Wyróżnienie drugiego komponentu transformera z fragmentem muzycznym

Koncepcje dużych modeli językowych (LLM)

Enkodery

  • Mechanizm uwagi: kieruje uwagę na konkretne słowa i relacje
  • Sieć neuronowa: przetwarza określone cechy

Enkoder w przepływie danych transformera

Koncepcje dużych modeli językowych (LLM)

Dekodery

  • Zawiera mechanizm uwagi i sieci neuronowe
  • Generuje wynik

Komponent dekodera w transformerze

Koncepcje dużych modeli językowych (LLM)

Transformery i zależności długiego zasięgu

 

  • Wyzwanie: zależności długiego zasięgu
  • Uwaga: skupienie na różnych częściach wejścia

 

  • Przykład: "Jane, która mieszka w Nowym Jorku i pracuje jako inżynier oprogramowania, uwielbia odkrywać nowe restauracje w mieście."

  • "Jane" --- "uwielbia odkrywać nowe restauracje"

Koncepcje dużych modeli językowych (LLM)

Przetwarzanie wielu części jednocześnie

  • Ograniczenie tradycyjnych modeli językowych:
    • Sekwencyjne — jedno słowo na raz

 

  • Transformery:
    • Przetwarzają wiele części jednocześnie
    • Szybsze przetwarzanie

 

  • Przykład:
    • "The cat sat on the mat"
    • Przetwarza „cat", „sat", „on", „the" i „mat" jednocześnie
Koncepcje dużych modeli językowych (LLM)

Czas na ćwiczenia!

Koncepcje dużych modeli językowych (LLM)

Preparing Video For Download...