ChromaDB के साथ vector डेटाबेस बनाना

OpenAI API के साथ Embeddings परिचय

Emmanuel Pire

Senior Software Engineer, DataCamp

ChromaDB इंस्टॉल करना

ChromaDB एक सरल लेकिन शक्तिशाली vector डेटाबेस है
दो मोड:
- Local: डेवलपमेंट और प्रोटोटाइपिंग के लिए बढ़िया
- Client/Server: प्रोडक्शन के लिए उपयुक्त

लोकल मोड में ChromaDB और क्लाइंट/सर्वर मोड में ChromaDB. क्लाइंट/सर्वर मोड में क्लाइंट और सर्वर अलग-अलग इंस्टेंस में दिखे हैं.

डेटाबेस से कनेक्ट करना

import chromadb


client = chromadb.PersistentClient(path="/path/to/save/to")

डेटा डिस्क पर सेव रहेगा

एक collection बनाना

Collections, tables के समान होती हैं

from chromadb.utils.embedding_functions import OpenAIEmbeddingFunction

collection = client.create_collection(
    name="my_collection",

    embedding_function=OpenAIEmbeddingFunction(
        model_name="text-embedding-3-small",
        api_key="..."
    )

)

Collections स्वतः embeddings बना सकती हैं

Collections देखना

client.list_collections()

[Collection(name=my_collection)]

Embeddings जोड़ना

एकल दस्तावेज़

collection.add(ids=["my-doc"], documents=["This is the source text"])

IDs देना ज़रूरी है
Embeddings collection द्वारा बनाई जाएँगी!

एकाधिक दस्तावेज़

collection.add(
  ids=["my-doc-1", "my-doc-2"], 
  documents=["This is document 1", "This is document 2"]
)

Collection का निरीक्षण

किसी collection में documents की गिनती

collection.count()

Collection का निरीक्षण

पहले 10 आइटम्स पर एक नज़र

collection.peek()

{'ids': ['my-doc', 'my-doc-1', 'my-doc-2'],
 'embeddings': [[...], [...], [...]],
 'documents': ['This is the source text',
  'This is document 1',
  'This is document 2'],
 'metadatas': [None, None, None]}

आइटम्स प्राप्त करना

collection.get(ids=["s59"])

{'ids': ['s59'],
 'embeddings': None,
 'metadatas': [None],
 'documents': ['Title: Naruto Shippûden the Movie: The Will of Fire (Movie)\nDescription: When ...'],
 'uris': None,
 'data': None}

Netflix डेटासेट

Title: Kota Factory (TV Show)
Description: In a city of coaching centers known to train India's finest...
Categories: International TV Shows, Romantic TV Shows, TV Comedies

Title: The Last Letter From Your Lover (Movie)
Description: After finding a trove of love letters from 1965, a reporter sets...
Categories: Dramas, Romantic Movies

Embedding लागत का अनुमान

Embedding मॉडल (text-embedding-3-small) की लागत $0.00002/1k tokens है

cost = 0.00002 * len(tokens)/1000

tiktoken लाइब्रेरी से tokens गिनें
- pip install tiktoken

¹ https://openai.com/pricing

Embedding लागत का अनुमान

import tiktoken

enc = tiktoken.encoding_for_model("text-embedding-3-small")


total_tokens = sum(len(enc.encode(text)) for text in documents)


cost_per_1k_tokens = 0.00002

print('Total tokens:', total_tokens)
print('Cost:', cost_per_1k_tokens * total_tokens/1000)

Total tokens: 444463
Cost: 0.00888926

अभ्यास करते हैं!

OpenAI API के साथ Embeddings परिचय