अटेंशन मैकेनिज़्म

Large Language Models (LLMs) कॉन्सेप्ट्स

Vidhi Chugh

AI strategist and ethicist

अटेंशन मैकेनिज़्म

  • जटिल संरचनाएँ समझें
  • महत्वपूर्ण शब्दों पर फोकस करें

 

  • किताब पढ़ने की उपमा:
    • रहस्य उपन्यास में सुराग
    • प्रासंगिक सामग्री पर ध्यान
    • अहम इनपुट डेटा पर एकाग्रता

खुली किताब और आवर्धक काँच

Large Language Models (LLMs) कॉन्सेप्ट्स

Self-attention और Multi-head attention

Self-attention

  • हर शब्द के महत्व को वेट देता है

 

  • दूरस्थ निर्भरताएँ पकड़ता है

Multi-head attention

  • self-attention का अगला स्तर

 

  • इनपुट को कई हेड्स में बाँटता है, हर हेड अलग पहलू पर फोकस करता है
Large Language Models (LLMs) कॉन्सेप्ट्स

पार्टी में अटेंशन

  • Attention: Self और Multi-head

 

  • उदाहरण:
    • पार्टी में ग्रुप बातचीत
    • प्रासंगिक वक्ता पर चयनात्मक ध्यान
    • शोर फ़िल्टर करें
    • मुख्य बिंदुओं पर फोकस करें

 

लोग बैठे हैं और समूह बातचीत कर रहे हैं

1 Freepik
Large Language Models (LLMs) कॉन्सेप्ट्स

पार्टी जारी

Self-attention

  • हर व्यक्ति के शब्दों पर फोकस
  • उनकी प्रासंगिकता का आकलन और तुलना
  • हर स्पीकर के इनपुट को वेट दें
  • मिलाकर समग्र समझ बनाए

Multi-head attention

  • ध्यान को "कई" चैनलों में बाँटें
  • बातचीत के अलग-अलग पहलुओं पर फोकस
  • स्पीकर की भावनाएँ, मुख्य विषय, और संबंधित साइड-टॉपिक्स
  • हर पहलू को प्रोसेस करें और मर्ज करें
Large Language Models (LLMs) कॉन्सेप्ट्स

Multi-head attention के फायदे

  • "The boy went to the store to buy some groceries, and he found a discount on his favorite cereal."

 

  • Attention: "boy," "store," "groceries," और "discount"
  • Self-attention: "boy" और "he" -> एक ही व्यक्ति
  • Multi-head attention: कई चैनल
    • पात्र ("boy")
    • क्रिया ("went to the store," "found a discount")
    • शामिल चीज़ें ("groceries," "cereal")
Large Language Models (LLMs) कॉन्सेप्ट्स

अभ्यास करते हैं!

Large Language Models (LLMs) कॉन्सेप्ट्स

Preparing Video For Download...