Textähnlichkeit

Einführung in Embeddings mit der OpenAI API

Emmanuel Pire

Senior Software Engineer, DataCamp

Rückblick ...

Semantisch ähnliche Texte liegen im Vektorraum näher beieinander
Über Distanzen messen wir Ähnlichkeit
Ermöglicht Embedding-Anwendungen:
- Semantische Suche
- Empfehlungen
- Klassifikation

Ein Plot des 2D-Vektorraums zeigt, dass Überschriften mit gleichem Sentiment und Thema im Vektorraum näher beieinander liegen.

Ähnlichkeit messen

Kosinus-Distanz

from scipy.spatial import distance

distance.cosine([0, 1], [1, 0])

1.0

Bereich: 0 bis 2
Kleinere Werte = größere Ähnlichkeit

Zwei Vektoren mit einer geraden Linie zwischen ihnen.

Beispiel: Überschriften-Ähnlichkeit vergleichen

Eine Liste von Dictionaries mit den Überschriften und ihren Embeddings.

Beispiel: Überschriften-Ähnlichkeit vergleichen

def create_embeddings(texts):
  response = client.embeddings.create(
    model="text-embedding-3-small",
    input=texts
  )
  response_dict = response.model_dump()

  return [data['embedding'] for data in response_dict['data']]

print(create_embeddings(["Python is the best!", "R is the best!"]))

print(create_embeddings("DataCamp is awesome!")[0])

[[0.0050565884448587894, ..., , -0.04000323638319969],
 [-0.0018890155479311943, ..., -0.04085670784115791]]

[0.00037010075175203383, ..., -0.021759100258350372]

Beispiel: Überschriften-Ähnlichkeit vergleichen

from scipy.spatial import distance
import numpy as np


search_text = "computer"

search_embedding = create_embeddings(search_text)[0]


distances = []

for article in articles:

  dist = distance.cosine(search_embedding, article["embedding"])

  distances.append(dist)


min_dist_ind = np.argmin(distances)

print(articles[min_dist_ind]['headline'])

Tech Company Launches Innovative Product to Improve Online Accessibility

Lass uns üben!

Einführung in Embeddings mit der OpenAI API