NLP का सामान्य अवलोकन

Large Language Models (LLMs) कॉन्सेप्ट्स

Vidhi Chugh

AI strategist and ethicist

हम कहाँ हैं?

पहला चरण: टेक्स्ट प्री-प्रोसेसिंग दिखाता प्रोग्रेस चार्ट

Large Language Models (LLMs) कॉन्सेप्ट्स

टेक्स्ट प्री-प्रोसेसिंग

  • ये चरण स्वतंत्र हैं, क्रम बदल सकता है

टेक्स्ट प्री-प्रोसेसिंग के तीन सामान्य चरण

Large Language Models (LLMs) कॉन्सेप्ट्स

Tokenization

  • टेक्स्ट को अलग-अलग शब्दों या टोकन में बाँटता है

 

  • Text:

    • "Working with natural language processing techniques is tricky."

     

  • Tokenization:

    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "tricky", "."]
    • इसे एक सूची में बदलता है
Large Language Models (LLMs) कॉन्सेप्ट्स

Stop word removal

  • स्टॉप वर्ड्स अर्थ नहीं जोड़ते
  • इन्हें स्टॉप वर्ड रिमूवल से हटाया जाता है

 

  • Before stop word removal:
    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "challenging", "."]

 

  • After stop word removal:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
Large Language Models (LLMs) कॉन्सेप्ट्स

Lemmatization

 

  • मिलते-जुलते अर्थ वाले भिन्न शब्दों को समूहित करता है

 

  • शब्दों को उनके बेस रूप में घटाता है

 

  • रूट शब्द से मैप करता है

 

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

Large Language Models (LLMs) कॉन्सेप्ट्स

टेक्स्ट रिप्रेजेंटेशन

प्रोग्रेस चार्ट: हम टेक्स्ट रिप्रेजेंटेशन चरण पर हैं

Large Language Models (LLMs) कॉन्सेप्ट्स

टेक्स्ट रिप्रेजेंटेशन

 

  • टेक्स्ट डेटा को न्यूमेरिकल रूप में बदलें

 

  • Bag-of-words
  • Word embeddings

संख्या के रूप में वाणी दर्शाने वाली छवि

Large Language Models (LLMs) कॉन्सेप्ट्स

Bag-of-words

 

  • टेक्स्ट को शब्द-गणना मैट्रिक्स में बदलता है

बैग-ऑफ-वर्ड्स रिप्रेजेंटेशन वाली मैट्रिक्स

  • 0 का मतलब शब्द अनुपस्थित है
Large Language Models (LLMs) कॉन्सेप्ट्स

Bag-of-words की सीमाएँ

  • क्रम या संदर्भ नहीं पकड़ता

    • गलत व्याख्या हो सकती है
    • वाक्य समान, अर्थ उल्टा
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • शब्दों के बीच सिमेंटिक्स नहीं पकड़ता

    • संबंधित शब्दों को स्वतंत्र मानता है
    • जैसे "cat" और "mouse"
Large Language Models (LLMs) कॉन्सेप्ट्स

Word embeddings

  • सिमेंटिक अर्थों को संख्याओं के रूप में कैप्चर करता है

 

Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8

 

  • Cat [-0.9, 0.9, 0.9]
  • Predator-prey संबंध:

शिकारी-शिकार वर्ड एम्बेडिंग्स

Large Language Models (LLMs) कॉन्सेप्ट्स

Machine-readable रूप

 

  • टेक्स्ट प्री-प्रोसेसिंग से शुरू करें

डेटा प्रिपरेशन वर्कफ़्लो

Large Language Models (LLMs) कॉन्सेप्ट्स

Machine-readable रूप

 

  • प्री-प्रोसेस्ड टेक्स्ट को न्यूमेरिकल फॉर्मेट में बदलें

टेक्स्ट रिप्रेजेंटेशन चरणों सहित डेटा प्रिपरेशन वर्कफ़्लो

Large Language Models (LLMs) कॉन्सेप्ट्स

अभ्यास करते हैं!

Large Language Models (LLMs) कॉन्सेप्ट्स

Preparing Video For Download...