Mechanizmy uwagi

Koncepcje dużych modeli językowych (LLM)

Vidhi Chugh

AI strategist and ethicist

Mechanizmy uwagi

  • Rozumienie złożonych struktur
  • Skupienie na ważnych słowach

 

  • Analogia z czytaniem książki:
    • Wskazówki w kryminale
    • Skupienie na istotnej treści
    • Koncentracja na kluczowych danych wejściowych

Otwarta książka z lupą

Koncepcje dużych modeli językowych (LLM)

Uwaga własna i wielogłowicowa

Uwaga własna

  • Ważenie znaczenia każdego słowa

 

  • Uchwycenie zależności długozasięgowych

Uwaga wielogłowicowa

  • Rozszerzenie uwagi własnej

 

  • Dzieli dane na wiele głowic, z których każda skupia się na innych aspektach
Koncepcje dużych modeli językowych (LLM)

Uwaga na imprezie

  • Uwaga: własna i wielogłowicowa

 

  • Przykład:
    • Rozmowa grupowa na imprezie
    • Selektywna uwaga na istotnego mówcę
    • Filtrowanie szumu
    • Skupienie na kluczowych punktach

 

Osoby siedzące i prowadzące rozmowę grupową

1 Freepik
Koncepcje dużych modeli językowych (LLM)

Impreza trwa

Uwaga własna

  • Skupienie na słowach każdej osoby
  • Ocena i porównanie ich znaczenia
  • Ważenie wkładu każdego mówcy
  • Łączenie w całościowe zrozumienie

Uwaga wielogłowicowa

  • Podział uwagi na "wiele" kanałów
  • Skupienie na różnych aspektach rozmowy
  • Emocje mówcy, główny temat i poboczne wątki
  • Przetwarzanie każdego aspektu i łączenie wyników
Koncepcje dużych modeli językowych (LLM)

Zalety uwagi wielogłowicowej

  • „Chłopiec poszedł do sklepu po zakupy i znalazł zniżkę na swoje ulubione płatki.”

 

  • Uwaga: „chłopiec”, „sklep”, „zakupy” i „zniżka”
  • Uwaga własna: „chłopiec” i „on” -> ta sama osoba
  • Uwaga wielogłowicowa: wiele kanałów
    • Postać („chłopiec”)
    • Działanie („poszedł do sklepu”, „znalazł zniżkę”)
    • Przedmioty („zakupy”, „płatki”)
Koncepcje dużych modeli językowych (LLM)

Czas na ćwiczenia!

Koncepcje dużych modeli językowych (LLM)

Preparing Video For Download...