ChromaDBを使用したベクトルデータベースの作成

OpenAI API で学ぶ埋め込み入門

Emmanuel Pire

Senior Software Engineer, DataCamp

ChromaDBのインストール

ChromaDB はシンプルだが強力なベクトルデータベース
2種類：
- ローカル: 開発とプロトタイピングに最適
- クライアント/サーバー: 本番環境向け

ChromaDB in local mode alongside ChromaDB in client/server mode. The client and server are shown in separate instances in client/server mode.

データベースへの接続

import chromadb


client = chromadb.PersistentClient(path="/path/to/save/to")

データはディスクに永続化される

コレクションの作成

コレクションはテーブルに相当

from chromadb.utils.embedding_functions import OpenAIEmbeddingFunction

collection = client.create_collection(
    name="my_collection",

    embedding_function=OpenAIEmbeddingFunction(
        model_name="text-embedding-3-small",
        api_key="..."
    )

)

コレクションは埋め込みを自動的に作成できる

コレクションを調べる

client.list_collections()

[Collection(name=my_collection)]

埋め込みの挿入

単一ドキュメント

collection.add(ids=["my-doc"], documents=["This is the source text"])

IDは必須
埋め込みはコレクションによって作成される！

複数のドキュメント

collection.add(
  ids=["my-doc-1", "my-doc-2"], 
  documents=["This is document 1", "This is document 2"]
)

コレクションの確認

コレクション内のドキュメント数を数える

collection.count()

コレクションの確認

最初の10項目を表示

collection.peek()

{'ids': ['my-doc', 'my-doc-1', 'my-doc-2'],
 'embeddings': [[...], [...], [...]],
 'documents': ['This is the source text',
  'This is document 1',
  'This is document 2'],
 'metadatas': [None, None, None]}

アイテムの取得

collection.get(ids=["s59"])

{'ids': ['s59'],
 'embeddings': None,
 'metadatas': [None],
 'documents': ['Title: Naruto Shippûden the Movie: The Will of Fire (Movie)\nDescription: When ...'],
 'uris': None,
 'data': None}

Netflixデータセット

Title: Kota Factory (TV Show)
Description: In a city of coaching centers known to train India's finest...
Categories: International TV Shows, Romantic TV Shows, TV Comedies

Title: The Last Letter From Your Lover (Movie)
Description: After finding a trove of love letters from 1965, a reporter sets...
Categories: Dramas, Romantic Movies

コストの見積もり

埋め込みモデル（text-embedding-3-small）のコストは 1000トークンあたり$0.00002

cost = 0.00002 * len(tokens)/1000

tiktokenライブラリでトークンを数える
- pip install tiktoken

¹ https://openai.com/pricing

コストの見積もり

import tiktoken

enc = tiktoken.encoding_for_model("text-embedding-3-small")


total_tokens = sum(len(enc.encode(text)) for text in documents)


cost_per_1k_tokens = 0.00002

print('Total tokens:', total_tokens)
print('Cost:', cost_per_1k_tokens * total_tokens/1000)

Total tokens: 444463
Cost: 0.00888926

練習しましょう！

OpenAI API で学ぶ埋め込み入門