Механизмы внимания

Концепции больших языковых моделей (LLM)

Vidhi Chugh

AI strategist and ethicist

Механизмы внимания

  • Понимание сложных структур
  • Фокус на важных словах

 

  • Аналогия с книгой:
    • Подсказки в детективе
    • Внимание на нужном содержании
    • Фокус на ключевых входных данных

Открытая книга с увеличительным стеклом

Концепции больших языковых моделей (LLM)

Самовнимание и многоголовое внимание

Самовнимание

  • Оценивает важность каждого слова

 

  • Улавливает дальние зависимости

Многоголовое внимание

  • Следующий уровень самовнимания

 

  • Разделяет вход на несколько голов, каждый из которых фокусируется на разных аспектах
Концепции больших языковых моделей (LLM)

Внимание на вечеринке

  • Внимание: само- и многоголовое

 

  • Пример:
    • Групповой разговор на вечеринке
    • Избирательное внимание к нужному собеседнику
    • Фильтрация шума
    • Фокус на ключевых моментах

 

Люди сидят и ведут групповую беседу

1 Freepik
Концепции больших языковых моделей (LLM)

Вечеринка продолжается

Самовнимание

  • Фокус на словах каждого участника
  • Оценка и сравнение их значимости
  • Взвешивание вклада каждого говорящего
  • Объединение для полного понимания

Многоголовое внимание

  • Разделение внимания на «несколько» каналов
  • Фокус на разных аспектах разговора
  • Эмоции говорящего, основная тема и смежные подтемы
  • Обработка каждого аспекта и объединение
Концепции больших языковых моделей (LLM)

Преимущества многоголового внимания

  • «Мальчик пошёл в магазин за продуктами и нашёл скидку на свои любимые хлопья.»

 

  • Внимание: «мальчик», «магазин», «продукты» и «скидка»
  • Самовнимание: «мальчик» и «он» -> один человек
  • Многоголовое внимание: несколько каналов
    • Персонаж («мальчик»)
    • Действие («пошёл в магазин», «нашёл скидку»)
    • Объекты («продукты», «хлопья»)
Концепции больших языковых моделей (LLM)

Давайте потренируемся!

Концепции больших языковых моделей (LLM)

Preparing Video For Download...