Embeddings की अद्भुत दुनिया!

OpenAI API के साथ Embeddings परिचय

Emmanuel Pire

Senior Software Engineer, DataCamp

Embeddings क्या हैं?

  • Natural Language Processing (NLP) की अवधारणा
  • टेक्स्ट का संख्यात्मक प्रतिनिधित्व

एक शब्द embedding मॉडल में इनपुट होकर टेक्स्ट का संख्यात्मक प्रतिनिधित्व देता है.

OpenAI API के साथ Embeddings परिचय

Embeddings क्या हैं?

 

  • टेक्स्ट को एक बहु-आयामी vector space पर मैप किया जाता है
  • मॉडल का आउटपुट उस space में टेक्स्ट का लोकेशन होता है
  • मिलते-जुलते शब्द पास-पास दिखते हैं
  • असमान शब्द दूर दिखते हैं

टेक्स्ट संख्यात्मक रूप में, जहाँ समान टेक्स्ट पास-पास है.

OpenAI API के साथ Embeddings परिचय

Embeddings उपयोगी क्यों हैं?

  • Embeddings से semantic meaning कैप्चर होता है
  • Semantic meaning: टेक्स्ट का संदर्भ और आशय

 

  • उदाहरण:
    • "Which way is it to the supermarket?"
    • "Could I have directions to the shop?"

टेक्स्ट संख्यात्मक रूप में, जहाँ समान टेक्स्ट पास-पास है.

OpenAI API के साथ Embeddings परिचय

Semantic सर्च इंजन

 

  • पारंपरिक सर्च इंजन
    • कीवर्ड पैटर्न मैचिंग उपयोग करते हैं
    • सही आशय छूट सकता है
    • शब्द-रूप भिन्नताएँ छूट जाती हैं

 

एक पारंपरिक सर्च इंजन असंगत परिणाम दिखा रहा है.

OpenAI API के साथ Embeddings परिचय

Semantic सर्च इंजन

  • आशय और संदर्भ समझने के लिए embeddings उपयोग करें

"comfortable running shoes" टेक्स्ट को embed किया जा रहा है.

OpenAI API के साथ Embeddings परिचय

Semantic सर्च इंजन

  • आशय और संदर्भ समझने के लिए embeddings उपयोग करें

embed किया गया टेक्स्ट बहु-आयामी space में दिखाया गया.

OpenAI API के साथ Embeddings परिचय

Recommendation सिस्टम्स

 

  • उदाहरण: जॉब पोस्ट रिकमेंडेशंस
    • पहले देखे गए विवरणों के आधार पर जॉब सुझाएँ
    • जॉब टाइटल की भिन्नताओं का असर घटाएँ

Embeddings के रूप में दिखाए गए जॉब सुझाव.

OpenAI API के साथ Embeddings परिचय

Classification

 

Classification टास्क:

  • सेंटिमेंट क्लासिफ़ाई करें
  • ऑब्ज़र्वेशंस को क्लस्टर करें
  • कैटेगराइज़ेशन

 

उदाहरण:

  • न्यूज़ हेडलाइंस का वर्गीकरण

 

किसी अनजान न्यूज़ हेडलाइन को embeddings द्वारा वर्गीकृत किया जा रहा है.

OpenAI API के साथ Embeddings परिचय

Embeddings रिक्वेस्ट बनाना

  • Embeddings endpoint
from openai import OpenAI


client = OpenAI(api_key="<OPENAI_API_KEY>")

response = client.embeddings.create(

  model="text-embedding-3-small",

  input="Embeddings are a numerical representation of text that can be used to
measure the relatedness between two pieces of text."

)


response_dict = response.model_dump()
print(response_dict)
1 https://platform.openai.com/docs/api-reference/embeddings
OpenAI API के साथ Embeddings परिचय

Embeddings response

{'object': 'list',
 'data': [
    {
      "embedding": [0.0023064255, ..., -0.0028842222],
      "index": 0,
      "object": "embedding"
    }
  ],
 'model': 'text-embedding-3-small',
 'usage': {
  "prompt_tokens": 24,
  "total_tokens": 24
  }
}
OpenAI API के साथ Embeddings परिचय

Embeddings निकालना

print(response_dict['data'][0]['embedding'])

[0.0023064255, ...., -0.0028842222]
OpenAI API के साथ Embeddings परिचय

अभ्यास करते हैं!

OpenAI API के साथ Embeddings परिचय

Preparing Video For Download...