Dikkat mekanizmaları

Large Language Models (LLMs) Kavramları

Vidhi Chugh

AI strategist and ethicist

Dikkat mekanizmaları

  • Karmaşık yapıları anlayın
  • Önemli kelimelere odaklanın

 

  • Kitap okuma benzetmesi:
    • Bir polisiye kitaptaki ipuçları
    • İlgili içeriğe odaklanma
    • Kritik girdi verisine yoğunlaşma

Büyüteçli açık bir kitap

Large Language Models (LLMs) Kavramları

Öz-dikkat ve çok başlı dikkat

Öz-dikkat

  • Her kelimenin önemini ağırlıklandırır

 

  • Uzun menzilli bağımlılıkları yakalar

Çok başlı dikkat

  • Öz-dikkatin ileri düzeyi

 

  • Girdiyi birden çok başa böler; her baş farklı bir yöne odaklanır
Large Language Models (LLMs) Kavramları

Partide dikkat

  • Dikkat: Öz ve çok başlı

 

  • Örnek:
    • Bir partide grup sohbeti
    • İlgili konuşmacıya seçici dikkat
    • Gürültüyü filtreleme
    • Ana noktalara odaklanma

 

insanlar oturuyor ve grup sohbeti yapıyor

1 Freepik
Large Language Models (LLMs) Kavramları

Parti devam ediyor

Öz-dikkat

  • Her kişinin sözlerine odaklanır
  • İlgililiklerini değerlendirip karşılaştırır
  • Her konuşmacının girdisini ağırlıklandırır
  • Kapsamlı bir anlayış için birleştirir

Çok başlı dikkat

  • Dikkati "birden çok" kanala böler
  • Sohbetin farklı yönlerine odaklanır
  • Konuşmacının duyguları, ana konu ve ilgili yan konular
  • Her yönü işler ve birleştirir
Large Language Models (LLMs) Kavramları

Çok başlı dikkatin avantajları

  • "Çocuk bakkala bazı yiyecekler almak için gitti ve en sevdiği gevrekte indirim buldu."

 

  • Dikkat: "çocuk", "bakkal", "yiyecekler" ve "indirim"
  • Öz-dikkat: "çocuk" ve "o" -> aynı kişi
  • Çok başlı dikkat: birden çok kanal
    • Karakter ("çocuk")
    • Eylem ("bakkala gitti", "indirim buldu")
    • İlgili nesneler ("yiyecekler", "gevrek")
Large Language Models (LLMs) Kavramları

Hadi pratik yapalım!

Large Language Models (LLMs) Kavramları

Preparing Video For Download...