Nowatorstwo LLM

Koncepcje dużych modeli językowych (LLM)

Vidhi Chugh

AI strategist and ethicist

Wykorzystanie danych tekstowych

Obraz przedstawiający analizę sentymentu, wykrywanie spamu i asystentów cyfrowych

  • Dane niestrukturyzowane – nieuporządkowane i niespójne
1 Freepik
Koncepcje dużych modeli językowych (LLM)

Maszyny nie rozumieją języka!

Obraz przedstawiający niemożność interpretacji języka przez komputer

1 Freepik
Koncepcje dużych modeli językowych (LLM)

Potrzeba NLP

 

Obraz przedstawiający NLP jako pomost między tekstem a liczbami rozumianymi przez komputer

1 Freepik
Koncepcje dużych modeli językowych (LLM)

Unikalne możliwości LLM

 

  • Niuanse językowe
    • Ironia
    • Humor
    • Kalambur
    • Sarkazm
    • Intonacja
    • Intencja

Osoba stojąca z tabletem, wskazująca na tekst i duży znak zapytania

1 Freepik
Koncepcje dużych modeli językowych (LLM)

Jaka jest Pana/Pani ulubiona książka?

 

  • Naturalna odpowiedź: "Ojej, trudne pytanie!"

 

  • Opinia własna: "Moją ulubioną książką jest To Kill a Mockingbird Harper Lee."

 

  • Uzasadnienie: "To poruszająca historia o uprzedzeniach, sprawiedliwości i człowieczeństwie."

 

  • Pytanie uzupełniające: "Czy Pan/Pani ją czytał/a?"
Koncepcje dużych modeli językowych (LLM)

Niuanse językowe

Sarkazm: "Świetnie, kolejne spotkanie."

Tradycyjny model językowy:

  • Odpowiedź: "O czym jest spotkanie?"
    • Neutralna
    • Nie rozpoznaje sarkazmu

 

Duży model językowy:

  • Odpowiedź: "Wygląda na to, że nie możesz się doczekać!"
    • Żartobliwa
    • Angażująca
    • Odpowiada na sarkazm
Koncepcje dużych modeli językowych (LLM)

Jak LLM rozumieją język

 

  • Trenowane na ogromnych zbiorach danych

  • Wielkość LLM: parametry

  • Parametry reprezentują wzorce i reguły

  • Więcej parametrów -> złożone wzorce

  • Generuje zaawansowane i trafne odpowiedzi

Koncepcje dużych modeli językowych (LLM)

Parametry

 

  • Mało klocków -> ograniczone struktury

Obraz przedstawiający małą liczbę klocków

 

  • Więcej klocków -> złożone i szczegółowe struktury

Obraz przedstawiający dużą liczbę klocków

Koncepcje dużych modeli językowych (LLM)

Powstawanie nowych możliwości

 

  • Zdolności emergentne
    • obecne tylko w modelach dużej skali

 

  • Skala:

    • Ilość danych treningowych
    • Liczba parametrów modelu

 

Wykres przedstawiający nagłą poprawę wydajności modelu po przekroczeniu progu skali

Koncepcje dużych modeli językowych (LLM)

Powstawanie nowych możliwości

 

Obraz przedstawiający nowe możliwości: muzyka, poezja, generowanie kodu, diagnoza medyczna i grupy leczenia

Koncepcje dużych modeli językowych (LLM)

Elementy składowe LLM

Elementy składowe LLM

Koncepcje dużych modeli językowych (LLM)

Podsumowanie

LLM:

  • Radzą sobie z nieustrukturyzowanymi danymi

 

  • Przewyższają tradycyjne modele

 

  • Rozumieją niuanse językowe

Jak?

  • „Wielkość" LLM
  • Rozległe dane treningowe
  • Duża liczba parametrów
  • Zdolności emergentne
Koncepcje dużych modeli językowych (LLM)

Czas na praktykę!

Koncepcje dużych modeli językowych (LLM)

Preparing Video For Download...