Similaritatea textului

Introducere în Embeddings cu API-ul OpenAI

Emmanuel Pire

Senior Software Engineer, DataCamp

Recapitulare...

Textele similare semantic sunt reprezentate mai aproape în spațiul vectorial
Măsurarea distanței permite evaluarea similarității
Permite aplicații bazate pe embeddings:
- Căutare semantică
- Recomandări
- Clasificare

Un grafic al spațiului vectorial 2D care arată că recenziile cu același sentiment și subiect sunt mapate mai aproape în spațiul vectorial.

Măsurarea similarității

Distanța cosinus

from scipy.spatial import distance

distance.cosine([0, 1], [1, 0])

1.0

Interval de la 0 la 2
Valori mai mici = similaritate mai mare

Doi vectori cu o linie dreaptă trasată între ei.

Exemplu: Compararea similarității titlurilor

O listă de dicționare care conține titlurile și embedding-urile acestora.

Exemplu: Compararea similarității titlurilor

def create_embeddings(texts):
  response = client.embeddings.create(
    model="text-embedding-3-small",
    input=texts
  )
  response_dict = response.model_dump()

  return [data['embedding'] for data in response_dict['data']]

print(create_embeddings(["Python is the best!", "R is the best!"]))

print(create_embeddings("DataCamp is awesome!")[0])

[[0.0050565884448587894, ..., , -0.04000323638319969],
 [-0.0018890155479311943, ..., -0.04085670784115791]]

[0.00037010075175203383, ..., -0.021759100258350372]

Exemplu: Compararea similarității titlurilor

from scipy.spatial import distance
import numpy as np


search_text = "computer"

search_embedding = create_embeddings(search_text)[0]


distances = []

for article in articles:

  dist = distance.cosine(search_embedding, article["embedding"])

  distances.append(dist)


min_dist_ind = np.argmin(distances)

print(articles[min_dist_ind]['headline'])

Tech Company Launches Innovative Product to Improve Online Accessibility

Să exersăm!

Introducere în Embeddings cu API-ul OpenAI