Similitud de texto

Introducción a las incrustaciones con la OpenAI API

Emmanuel Pire

Senior Software Engineer, DataCamp

Repaso...

Los textos semánticamente similares quedan más cerca en el espacio vectorial
Medir la distancia nos permite medir la similitud
Esto habilita usos de las incrustaciones:
- Búsqueda semántica
- Recomendaciones
- Clasificación

Un plano 2D muestra que reseñas con el mismo sentimiento y tema quedan más próximas en el espacio vectorial.

Medir la similitud

Distancia coseno

from scipy.spatial import distance

distance.cosine([0, 1], [1, 0])

1.0

Va de 0 a 2
Números menores = mayor similitud

Dos vectores con una línea recta trazada entre ellos.

Ejemplo: comparar similitud de titulares

Una lista de diccionarios con los titulares y sus incrustaciones.

Ejemplo: comparar similitud de titulares

def create_embeddings(texts):
  response = client.embeddings.create(
    model="text-embedding-3-small",
    input=texts
  )
  response_dict = response.model_dump()

  return [data['embedding'] for data in response_dict['data']]

print(create_embeddings(["Python is the best!", "R is the best!"]))

print(create_embeddings("DataCamp is awesome!")[0])

[[0.0050565884448587894, ..., , -0.04000323638319969],
 [-0.0018890155479311943, ..., -0.04085670784115791]]

[0.00037010075175203383, ..., -0.021759100258350372]

Ejemplo: comparar similitud de titulares

from scipy.spatial import distance
import numpy as np


search_text = "computer"

search_embedding = create_embeddings(search_text)[0]


distances = []

for article in articles:

  dist = distance.cosine(search_embedding, article["embedding"])

  distances.append(dist)


min_dist_ind = np.argmin(distances)

print(articles[min_dist_ind]['headline'])

Tech Company Launches Innovative Product to Improve Online Accessibility

¡Vamos a practicar!

Introducción a las incrustaciones con la OpenAI API