Wyzwania modelowania języka

Koncepcje dużych modeli językowych (LLM)

Vidhi Chugh

AI strategist and ethicist

Kolejność ma znaczenie!

 

  • Tylko ja prowadzę zdrowy tryb życia.

 

 

  • Różna pozycja = różne znaczenie

 

  • Prowadzę tylko zdrowy tryb życia.

Ilustracja osoby z dwiema strzałkami w przeciwnych kierunkach i znakiem zapytania nad głową.

1 Freepik
Koncepcje dużych modeli językowych (LLM)

Modelowanie kontekstu

Obraz pokazujący, że słowo „Run" może mieć różne znaczenia w zależności od kontekstu.

Koncepcje dużych modeli językowych (LLM)

Modelowanie kontekstu

Obraz przedstawiający słowo „Run" w znaczeniu joggingu.

Koncepcje dużych modeli językowych (LLM)

Modelowanie kontekstu

Obraz przedstawiający słowo „Run" w znaczeniu zarządzania lub organizowania.

Koncepcje dużych modeli językowych (LLM)

Modelowanie kontekstu

Obraz przedstawiający słowo „Run" w znaczeniu obsługi maszyny

Koncepcje dużych modeli językowych (LLM)

Modelowanie kontekstu

Rozszerzenie poprzedniego obrazu o dodatkowy kontekst z przykładami różnych znaczeń.

Koncepcje dużych modeli językowych (LLM)

Zależności długiego zasięgu

 

  • Rozpoznawanie i łączenie odległych słów w zdaniu
  • Wyzwanie dla tradycyjnych modeli językowych

Przykład zależności długiego zasięgu: „Książka, którą młoda dziewczyna, wracając właśnie z wakacji, ostrożnie postawiła na półce, była dość ciężka."

Koncepcje dużych modeli językowych (LLM)

Uczenie jednego zadania

Obraz przedstawiający trzy przykłady uczenia jednego zadania: podpisywanie obrazów, streszczanie tekstu i tłumaczenie.

  • Kosztowne czasowo i zasobowo
  • Mniej elastyczne niż nowoczesne LLM
Koncepcje dużych modeli językowych (LLM)

Uczenie wielu zadań

Obraz przedstawiający uczenie wielu zadań łączące wiele możliwości w jednym modelu.

  • Lepsza wydajność na każdym z zadań
  • Może wpływać na dokładność i efektywność
  • Mniej danych treningowych dzięki ich współdzieleniu
Koncepcje dużych modeli językowych (LLM)

Podsumowanie

Wyzwania modelowania języka:

  • Sekwencje słów

 

  • Rozumienie kontekstu

 

  • Zależności długiego zasięgu

Uczenie jednego zadania:

  • Specyficzne dla zadania
  • Mało elastyczne
  • Tradycyjne modele i wczesne LLM

 

Uczenie wielu zadań:

  • Wszechstronne
  • Wiele zadań
  • Bardziej zaawansowane LLM
Koncepcje dużych modeli językowych (LLM)

Czas na ćwiczenia!

Koncepcje dużych modeli językowych (LLM)

Preparing Video For Download...