Transformer परिचय

Large Language Models (LLMs) कॉन्सेप्ट्स

Vidhi Chugh

AI strategist and ethicist

हम कहाँ हैं?

प्रोग्रेस चार्ट जो दिखाता है कि हम transformer सीख रहे हैं

Large Language Models (LLMs) कॉन्सेप्ट्स

Transformer क्या है?

  • "Attention Is All You Need"
    • भाषा मॉडलिंग में क्रांति

 

  • Transformer आर्किटेक्चर
    • शब्दों के बीच संबंध
    • घटक: Pre-processing, Positional Encoding, Encoders, और Decoders

पेपर का स्निपेट "Attention is all you need"

1 arXiv: Attention Is All You Need
Large Language Models (LLMs) कॉन्सेप्ट्स

Transformer के अंदर

 

  • Input: Jane, who lives in New York and works as a software

 

Transformer के अंदरूनी घटक और डेटा फ्लो

 

  • Output: engineer, loves exploring new restaurants in the city.
Large Language Models (LLMs) कॉन्सेप्ट्स

Transformers एक ऑर्केस्ट्रा जैसे हैं

एक ऑर्केस्ट्रा की छवि

Large Language Models (LLMs) कॉन्सेप्ट्स

Text pre-processing और representation

  • Text preprocessing: tokenization, stop word removal, lemmatization
  • Text representation: word embedding

Transformer के पहले घटक और कुछ व्यक्तिगत नोट्स को हाइलाइट करता चित्र

Large Language Models (LLMs) कॉन्सेप्ट्स

Positional encoding

  • हर शब्द की स्थिति की जानकारी
  • दूर के शब्दों को समझें

Transformer के दूसरे घटक और एक संगीत अंश को हाइलाइट करता चित्र

Large Language Models (LLMs) कॉन्सेप्ट्स

Encoders

  • Attention मेकैनिज़्म: खास शब्दों और संबंधों पर ध्यान केंद्रित करता है
  • न्यूरल नेटवर्क: विशेष फीचर प्रोसेस करता है

Transformer फ्लो में Encoder

Large Language Models (LLMs) कॉन्सेप्ट्स

Decoders

  • Attention और न्यूरल नेटवर्क शामिल हैं
  • आउटपुट जनरेट करता है

Transformer का Decoder घटक

Large Language Models (LLMs) कॉन्सेप्ट्स

Transformers और long-range dependencies

 

  • प्रारंभिक चुनौती: long-range dependency
  • Attention: इनपुट के अलग-अलग हिस्सों पर फोकस

 

  • उदाहरण: "Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city."

  • "Jane" --- "loves exploring new restaurants"

Large Language Models (LLMs) कॉन्सेप्ट्स

कई हिस्सों को एक साथ प्रोसेस करता है

  • पारंपरिक भाषा मॉडलों की सीमा:
    • अनुक्रमिक - एक समय में एक शब्द

 

  • Transformers:
    • एक साथ कई हिस्सों को प्रोसेस करें
    • तेज़ प्रोसेसिंग

 

  • उदाहरण के लिए:
    • "The cat sat on the mat"
    • "cat," "sat," "on," "the," और "mat" को एक साथ प्रोसेस करता है
Large Language Models (LLMs) कॉन्सेप्ट्स

अभ्यास करते हैं!

Large Language Models (LLMs) कॉन्सेप्ट्स

Preparing Video For Download...