Механізми уваги

Концепції Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Механізми уваги

  • Розуміти складні структури
  • Зосереджуватися на важливих словах

 

  • Аналогія з читанням книги:
    • Підказки в детективі
    • Фокус на релевантному змісті
    • Концентрація на ключових вхідних даних

Відкрита книга з лупою

Концепції Large Language Models (LLMs)

Self-attention і multi-head attention

Self-attention

  • Оцінює важливість кожного слова

 

  • Відображає далекі залежності

Multi-head attention

  • Розширення self-attention

 

  • Ділить вхід на кілька «голів», кожна зосереджується на різних аспектах
Концепції Large Language Models (LLMs)

Увага на вечірці

  • Увага: self та multi-head

 

  • Приклад:
    • Розмова групи на вечірці
    • Вибіркова увага до релевантного співрозмовника
    • Фільтрація шуму
    • Фокус на ключових тезах

 

люди сидять і ведуть групову розмову

1 Freepik
Концепції Large Language Models (LLMs)

Вечірка триває

Self-attention

  • Звертайте увагу на слова кожної людини
  • Оцінюйте та порівнюйте їхню релевантність
  • Зважуйте внесок кожного спікера
  • Об'єднуйте для цілісного розуміння

Multi-head attention

  • Розділіть увагу на "декілька" каналів
  • Фокус на різних аспектах розмови
  • Емоції спікера, основна тема та дотичні підтеми
  • Опрацюйте кожен аспект і об'єднайте
Концепції Large Language Models (LLMs)

Переваги multi-head attention

  • "The boy went to the store to buy some groceries, and he found a discount on his favorite cereal."

 

  • Увага: "boy," "store," "groceries," і "discount"
  • Self-attention: "boy" і "he" -> одна й та сама особа
  • Multi-head attention: кілька каналів
    • Персонаж ("boy")
    • Дія ("went to the store," "found a discount")
    • Об'єкти ("groceries," "cereal")
Концепції Large Language Models (LLMs)

Давайте потренуємось!

Концепції Large Language Models (LLMs)

Preparing Video For Download...