Cơ chế attention

Các khái niệm về Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Cơ chế attention

  • Hiểu cấu trúc phức tạp
  • Tập trung vào từ quan trọng

 

  • Ví von đọc sách:
    • Manh mối trong truyện trinh thám
    • Tập trung vào nội dung liên quan
    • Tập trung vào dữ liệu đầu vào then chốt

Một cuốn sách mở với kính lúp

Các khái niệm về Large Language Models (LLMs)

Self-attention và multi-head attention

Self-attention

  • Cân trọng số mức quan trọng của từng từ

 

  • Bắt được quan hệ phụ thuộc xa

Multi-head attention

  • Cấp độ tiếp theo của self-attention

 

  • Chia đầu vào thành nhiều head, mỗi head tập trung vào một khía cạnh khác
Các khái niệm về Large Language Models (LLMs)

Attention trong bữa tiệc

  • Attention: Self và multi-head

 

  • Ví dụ:
    • Trò chuyện nhóm ở bữa tiệc
    • Chú ý có chọn lọc tới người nói liên quan
    • Lọc nhiễu
    • Tập trung vào ý chính

 

mọi người ngồi trò chuyện nhóm

1 Freepik
Các khái niệm về Large Language Models (LLMs)

Bữa tiệc tiếp tục

Self-attention

  • Tập trung vào lời của từng người
  • Đánh giá và so sánh mức liên quan
  • Gán trọng số cho từng người nói
  • Kết hợp để hiểu tổng thể

Multi-head attention

  • Chia attention thành nhiều kênh
  • Tập trung vào các khía cạnh khác nhau của cuộc trò chuyện
  • Cảm xúc người nói, chủ đề chính và chủ đề phụ liên quan
  • Xử lý từng khía cạnh rồi hợp nhất
Các khái niệm về Large Language Models (LLMs)

Ưu điểm của multi-head attention

  • "The boy went to the store to buy some groceries, and he found a discount on his favorite cereal."

 

  • Attention: "boy," "store," "groceries," và "discount"
  • Self-attention: "boy" và "he" -> cùng một người
  • Multi-head attention: nhiều kênh
    • Nhân vật ("boy")
    • Hành động ("went to the store," "found a discount")
    • Sự vật liên quan ("groceries," "cereal")
Các khái niệm về Large Language Models (LLMs)

Ayo berlatih!

Các khái niệm về Large Language Models (LLMs)

Preparing Video For Download...