まとめ

OpenAI API で学ぶ埋め込み入門

Emmanuel Pire

Senior Software Engineer, DataCamp

第1章 - 埋め込みとは？

埋め込み: テキストをベクトル/数値で表現したもの
テキストのセマンティックな意味を捉える
OpenAI の埋め込みモデルを使用
コサイン距離を使用して類似テキストを見つける
セマンティック検索、レコメンデーションエンジンなどを実現する

A plot of the 2D vector space showing that reviews with the same sentiment and topic are mapped more closely together in the vector space.

第2章 - AIアプリケーションのための埋め込み

セマンティック検索とレコメンデーション

An embedded search query in the vector space alongside several embedded articles on different topics.

分類

Embedded class descriptions in the vector space, with an unknown vector assigned the Tech label.

第3章 - ベクトルデータベース

A diagram showing how a vector database, Chroma in this case, is used to store document embeddings and returned results based on an embedded query back to the user.

次のステップ

クラウドベースのマネージド型ベクトルデータベース

Pinecone:
- Pineconeを使ったセマンティック検索 (コード中心)
Weaviate:
- PythonでWeaviateを使ったデータサイエンス向けベクトルデータベース (コード中心)

アプリケーション作成のためのフレームワーク

LangChain:
- LangChainを使ったLLMアプリケーションの構築方法 (チュートリアル)
- GPTとLangChainによるLLMモデル入門（コード中心）

練習しましょう！

OpenAI API で学ぶ埋め込み入門