素晴らしき埋め込みの世界！

OpenAI API で学ぶ埋め込み入門

Emmanuel Pire

Senior Software Engineer, DataCamp

埋め込みとは？

NLP（Natural Language Processing、自然言語処理）における基本的概念
テキストの数値表現

A word being inputted to an embedding model, which outputs a numerical representation of the text.

埋め込みとは？

テキストは多次元の ベクトル空間 にマッピングされる
モデルが出力した数値は空間内でのテキストの位置を表す
類似した単語は近くに
意味的に遠い単語は離れた位置に表示される

Text represented numerically, where more similar text is closer together.

埋め込みはなぜ有用か？

埋め込みによりセマンティックな意味を捉えられる
セマンティックな意味: 文脈と意図

例：
- 「スーパーマーケットへはどう行けばいいですか？」
- 「お店までの道を教えてもらえますか？」

Text represented numerically, where more similar text is closer together.

セマンティック検索エンジン

従来の検索エンジン
- キーワードのパターンマッチング
- 真の意図を見逃す可能性がある
- 類似した単語を見逃す可能性がある

セマンティック検索エンジン

埋め込みを使用して意図と文脈を理解する

セマンティック検索エンジン

埋め込みを使用して意図と文脈を理解する

レコメンドシステム

例：求人投稿のおすすめ
- すでに閲覧した内容に基づいて求人をおすすめする
- 職種名のゆれの問題を軽減

Job recommendations displayed as embeddings.

埋め込みリクエストの作成

埋め込みエンドポイント

from openai import OpenAI


client = OpenAI(api_key="<OPENAI_API_KEY>")

response = client.embeddings.create(

  model="text-embedding-3-small",

  input="Embeddings are a numerical representation of text that can be used to
measure the relatedness between two pieces of text."

)


response_dict = response.model_dump()
print(response_dict)

¹ https://platform.openai.com/docs/api-reference/embeddings

埋め込みレスポンス

{'object': 'list',
 'data': [
    {
      "embedding": [0.0023064255, ..., -0.0028842222],
      "index": 0,
      "object": "embedding"
    }
  ],
 'model': 'text-embedding-3-small',
 'usage': {
  "prompt_tokens": 24,
  "total_tokens": 24
  }
}

埋め込みの抽出

print(response_dict['data'][0]['embedding'])

[0.0023064255, ...., -0.0028842222]

練習しましょう！

OpenAI API で学ぶ埋め込み入門

素晴らしき埋め込みの世界！

埋め込みとは？

埋め込みとは？

埋め込みはなぜ有用か？

セマンティック検索エンジン

セマンティック検索エンジン

セマンティック検索エンジン

レコメンドシステム

分類

埋め込みリクエストの作成

埋め込みレスポンス

埋め込みの抽出

練習しましょう！