Mekanisme attention

Konsep Large Language Models (LLM)

Vidhi Chugh

AI strategist and ethicist

Mekanisme attention

  • Pahami struktur kompleks
  • Fokus pada kata penting

 

  • Analogi membaca buku:
    • Petunjuk dalam buku misteri
    • Fokus pada konten relevan
    • Konsentrasi pada data masukan krusial

Sebuah buku terbuka dengan kaca pembesar

Konsep Large Language Models (LLM)

Self-attention dan multi-head attention

Self-attention

  • Memberi bobot pentingnya tiap kata

 

  • Menangkap ketergantungan jarak jauh

Multi-head attention

  • Tingkat lanjut dari self-attention

 

  • Membagi masukan menjadi beberapa head; tiap head fokus pada aspek berbeda
Konsep Large Language Models (LLM)

Attention di pesta

  • Attention: Self dan multi-head

 

  • Contoh:
    • Percakapan grup di pesta
    • Perhatian selektif ke pembicara relevan
    • Saring noise
    • Fokus pada poin kunci

 

orang duduk dan bercakap dalam percakapan grup

1 Freepik
Konsep Large Language Models (LLM)

Pesta berlanjut

Self-attention

  • Fokus pada ucapan tiap orang
  • Nilai dan bandingkan relevansinya
  • Beri bobot masukan tiap pembicara
  • Gabungkan untuk pemahaman menyeluruh

Multi-head attention

  • Bagi attention menjadi beberapa kanal
  • Fokus pada aspek percakapan yang berbeda
  • Emosi pembicara, topik utama, dan topik sampingan terkait
  • Proses tiap aspek lalu gabungkan
Konsep Large Language Models (LLM)

Keunggulan multi-head attention

  • "The boy went to the store to buy some groceries, and he found a discount on his favorite cereal."

 

  • Attention: "boy," "store," "groceries," dan "discount"
  • Self-attention: "boy" dan "he" -> orang yang sama
  • Multi-head attention: beberapa kanal
    • Karakter ("boy")
    • Aksi ("went to the store," "found a discount")
    • Benda yang terlibat ("groceries," "cereal")
Konsep Large Language Models (LLM)

Ayo berlatih!

Konsep Large Language Models (LLM)

Preparing Video For Download...