Similarità testuale

Introduzione agli Embeddings con l'API di OpenAI

Emmanuel Pire

Senior Software Engineer, DataCamp

Riepilogo...

Testi semanticamente simili sono immersi più vicini nello spazio vettoriale
Misurare la distanza permette di misurare la similarità
Abilita applicazioni degli embeddings:
- Ricerca semantica
- Raccomandazioni
- Classificazione

Un grafico 2D che mostra che le recensioni con stesso sentiment e tema sono mappate più vicine nello spazio vettoriale.

Misurare la similarità

Distanza coseno

from scipy.spatial import distance

distance.cosine([0, 1], [1, 0])

1.0

Va da 0 a 2
Numeri più piccoli = maggiore similarità

Due vettori con una linea retta tracciata tra loro.

Esempio: confrontare la similarità dei titoli

Un elenco di dizionari con i titoli e i relativi embeddings.

Esempio: confrontare la similarità dei titoli

def create_embeddings(texts):
  response = client.embeddings.create(
    model="text-embedding-3-small",
    input=texts
  )
  response_dict = response.model_dump()

  return [data['embedding'] for data in response_dict['data']]

print(create_embeddings(["Python is the best!", "R is the best!"]))

print(create_embeddings("DataCamp is awesome!")[0])

[[0.0050565884448587894, ..., , -0.04000323638319969],
 [-0.0018890155479311943, ..., -0.04085670784115791]]

[0.00037010075175203383, ..., -0.021759100258350372]

Esempio: confrontare la similarità dei titoli

from scipy.spatial import distance
import numpy as np


search_text = "computer"

search_embedding = create_embeddings(search_text)[0]


distances = []

for article in articles:

  dist = distance.cosine(search_embedding, article["embedding"])

  distances.append(dist)


min_dist_ind = np.argmin(distances)

print(articles[min_dist_ind]['headline'])

Azienda tech lancia un prodotto innovativo per migliorare l’accessibilità online

Passiamo alla pratica !

Introduzione agli Embeddings con l'API di OpenAI