Créer des bases de vecteurs avec ChromaDB

Introduction aux embeddings avec l'API d'OpenAI

Emmanuel Pire

Senior Software Engineer, DataCamp

Installer ChromaDB

  • ChromaDB est une base de vecteurs simple et puissante
  • Deux modes :
    • Local : idéal pour le développement et le prototypage
    • Client/serveur : conçu pour la production

ChromaDB en mode local et en mode client/serveur. En mode client/serveur, le client et le serveur sont dans des instances séparées.

Introduction aux embeddings avec l'API d'OpenAI

Connexion à la base de données

import chromadb


client = chromadb.PersistentClient(path="/path/to/save/to")
  • Les données seront conservées sur le disque
Introduction aux embeddings avec l'API d'OpenAI

Créer une collection

  • Les collections sont analogues aux tables
from chromadb.utils.embedding_functions import OpenAIEmbeddingFunction

collection = client.create_collection(
    name="my_collection",

    embedding_function=OpenAIEmbeddingFunction(
        model_name="text-embedding-3-small",
        api_key="..."
    )

)
  • Les collections peuvent générer les embeddings automatiquement
Introduction aux embeddings avec l'API d'OpenAI

Examiner les collections

client.list_collections()

[Collection(name=my_collection)]
Introduction aux embeddings avec l'API d'OpenAI

Insérer des embeddings

Document unique

collection.add(ids=["my-doc"], documents=["This is the source text"])
  • Vous devez fournir des ID
  • Les embeddings seront créés par la collection !

Plusieurs documents

collection.add(
  ids=["my-doc-1", "my-doc-2"], 
  documents=["This is document 1", "This is document 2"]
)
Introduction aux embeddings avec l'API d'OpenAI

Examiner une collection

Compter les documents d'une collection

collection.count()

3
Introduction aux embeddings avec l'API d'OpenAI

Examiner une collection

Aperçu des 10 premiers éléments

collection.peek()

{'ids': ['my-doc', 'my-doc-1', 'my-doc-2'],
 'embeddings': [[...], [...], [...]],
 'documents': ['This is the source text',
  'This is document 1',
  'This is document 2'],
 'metadatas': [None, None, None]}
Introduction aux embeddings avec l'API d'OpenAI

Récupérer des éléments

collection.get(ids=["s59"])

{'ids': ['s59'],
 'embeddings': None,
 'metadatas': [None],
 'documents': ['Title: Naruto Shippûden the Movie: The Will of Fire (Movie)\nDescription: When ...'],
 'uris': None,
 'data': None}
Introduction aux embeddings avec l'API d'OpenAI

Ensemble de données Netflix

 

Title: Kota Factory (TV Show)
Description: In a city of coaching centers known to train India's finest...
Categories: International TV Shows, Romantic TV Shows, TV Comedies

Title: The Last Letter From Your Lover (Movie)
Description: After finding a trove of love letters from 1965, a reporter sets...
Categories: Dramas, Romantic Movies
Introduction aux embeddings avec l'API d'OpenAI

Estimer le coût des embeddings

  • Le modèle d'embedding (text-embedding-3-small) coûte 0,00002 $/1 000 jetons
cost = 0.00002 * len(tokens)/1000
  • Comptez les jetons avec la bibliothèque tiktoken
    • pip install tiktoken
1 https://openai.com/pricing
Introduction aux embeddings avec l'API d'OpenAI

Estimer le coût des embeddings

import tiktoken

enc = tiktoken.encoding_for_model("text-embedding-3-small")


total_tokens = sum(len(enc.encode(text)) for text in documents)


cost_per_1k_tokens = 0.00002

print('Total tokens:', total_tokens)
print('Cost:', cost_per_1k_tokens * total_tokens/1000)

Total tokens: 444463
Cost: 0.00888926
Introduction aux embeddings avec l'API d'OpenAI

Passons à la pratique !

Introduction aux embeddings avec l'API d'OpenAI

Preparing Video For Download...