注意力机制

Large Language Models (LLMs) 概念

Vidhi Chugh

AI strategist and ethicist

注意力机制

  • 理解复杂结构
  • 关注重要词语

 

  • 读书类比：
    • 侦探书中的线索
    • 聚焦相关内容
    • 专注关键输入数据

一本打开的书和放大镜

Large Language Models (LLMs) 概念

自注意力与多头注意力

自注意力

  • 为每个词的重要性加权

 

  • 捕获长程依赖

多头注意力

  • 自注意力的升级版

 

  • 将输入拆为多头，每头关注不同方面
Large Language Models (LLMs) 概念

聚会中的注意力

  • 注意力：自注意力与多头

 

  • 示例：
    • 聚会中的群聊
    • 选择性关注相关说话者
    • 过滤噪声
    • 抓住要点

 

人们坐着进行群体对话

1 Freepik
Large Language Models (LLMs) 概念

派对继续

自注意力

  • 关注每个人的话语
  • 评估并比较其相关性
  • 为每位说话者分配权重
  • 汇总形成全面理解

多头注意力

  • 将注意力拆分为"多个"通道
  • 关注对话的不同方面
  • 说话者情绪、主题与相关子话题
  • 分别处理并合并
Large Language Models (LLMs) 概念

多头注意力的优势

  • "The boy went to the store to buy some groceries, and he found a discount on his favorite cereal."

 

  • 注意力："boy""store""groceries""discount"
  • 自注意力："boy" 与 "he" -> 同一人
  • 多头注意力：多通道
    • 角色（"boy"）
    • 动作（"went to the store""found a discount"）
    • 涉及事物（"groceries""cereal"）
Large Language Models (LLMs) 概念

让我们练习吧！

Large Language Models (LLMs) 概念

Preparing Video For Download...