LLMs को ट्रेन करने के बिल्डिंग ब्लॉक्स

Large Language Models (LLMs) कॉन्सेप्ट्स

Vidhi Chugh

AI strategist and ethicist

हम कहाँ हैं?

सीखने की प्रगति Pre-training के रूप में दिखाती छवि

Large Language Models (LLMs) कॉन्सेप्ट्स

Generative pre-training

 

  • Generative pre-training से प्रशिक्षित

    • इनपुट डेटा: टेक्स्ट टोकन
    • डेटासेट के भीतर टोकन की भविष्यवाणी के लिए प्रशिक्षित

 

  • प्रकार:
    • अगला शब्द भविष्यवाणी
    • Masked language modeling
Large Language Models (LLMs) कॉन्सेप्ट्स

Next word prediction

  • Supervised learning तकनीक
    • मॉडल इनपुट-आउटपुट पेयर्स पर प्रशिक्षित

 

  • अगला शब्द भविष्यवाणी करता है और संगत टेक्स्ट जनरेट करता है
  • शब्दों के बीच निर्भरता कैप्चर करता है

 

  • प्रशिक्षण डेटा
    • इनपुट और आउटपुट उदाहरणों के पेयर्स

सर्च इंजन द्वारा ऑटो-सजेशन

Large Language Models (LLMs) कॉन्सेप्ट्स

Next word prediction के लिए प्रशिक्षण डेटा

Input

The quick brown

The quick brown fox

The quick brown fox jumps

The quick brown fox jumps over

The quick brown fox jumps over the

The quick brown fox jumps over the lazy

The quick brown fox jumps over the lazy dog.

Output

fox

jumps

over

the

lazy

dog

Large Language Models (LLMs) कॉन्सेप्ट्स

Pizza से कौन-सा शब्द अधिक जुड़ा है?

 

  • ज्यादा उदाहरण = बेहतर भविष्यवाणी

 

  • उदाहरण के लिए:
    • I love to eat pizza with _ _ _ _ _ _

 

  • Cheese, pizza से बाकी शब्दों की तुलना में ज़्यादा संबंधित है

"Pizza" शब्द से अलग-अलग शब्दों की संबद्धता की संभावनाएँ

Large Language Models (LLMs) कॉन्सेप्ट्स

Masked language modeling

  • एक चुना हुआ शब्द छुपाता है

  • प्रशिक्षित मॉडल masked शब्द की भविष्यवाणी करता है

 

  • Original Text: "The quick brown fox jumps over the lazy dog."

  • Masked Text: "The quick [MASK] fox jumps over the lazy dog."

 

  • Objective: missing शब्द की भविष्यवाणी करना

  • प्रशिक्षण डेटा से सीखी बातों के आधार पर

Large Language Models (LLMs) कॉन्सेप्ट्स

अभ्यास करते हैं!

Large Language Models (LLMs) कॉन्सेप्ट्स

Preparing Video For Download...