Embedding per compiti di classificazione

Introduzione agli Embeddings con l'API di OpenAI

Emmanuel Pire

Senior Software Engineer, DataCamp

Compiti di classificazione

Assegnare etichette agli elementi

Categorizzazione
- Esempio: titoli in argomenti
Analisi del sentiment

Una tabella di argomenti che possiamo usare per categorizzare articoli.

Compiti di classificazione

Assegnare etichette agli elementi

Categorizzazione
- Esempio: titoli in argomenti
Analisi del sentiment
- Esempio: classificare recensioni come positive o negative

Gli embedding catturano il significato semantico

Una tabella con una faccina sorridente e una triste, usabile per categorizzare per sentiment.

Classificazione con embedding

Zero-shot classification:
- Senza dati etichettati

Procedura:

Embedding delle descrizioni delle classi

Descrizioni di classi incorporate nello spazio vettoriale.

Classificazione con embedding

Zero-shot classification:
- Senza dati etichettati

Procedura:

Embedding delle descrizioni delle classi
Embedding dell’elemento da classificare
Calcola le distanze coseno

Descrizioni di classi incorporate nello spazio vettoriale, con un vettore sconosciuto.

Classificazione con embedding

Zero-shot classification:
- Senza dati etichettati

Procedura:

Embedding delle descrizioni delle classi
Embedding dell’elemento da classificare
Calcola le distanze coseno
Assegna l’etichetta più simile

Descrizioni di classi incorporate nello spazio vettoriale, con un vettore sconosciuto assegnato all’etichetta Tech.

Embedding delle descrizioni delle classi

topics = [
  {'label': 'Tech'},
  {'label': 'Science'},
  {'label': 'Sport'},
  {'label': 'Business'},
]


class_descriptions = [topic['label'] for topic in topics]

class_embeddings = create_embeddings(class_descriptions)

Embedding dell’elemento da classificare

article = {"headline": "How NVIDIA GPUs Could Decide Who Wins the AI Race",
           "keywords": ["ai", "business", "computers"]}


def create_article_text(article):
  return f"""Headline: {article['headline']}
Keywords: {', '.join(article['keywords'])}"""

article_text = create_article_text(article)

article_embeddings = create_embeddings(article_text)[0]

Calcola le distanze coseno

def find_closest(query_vector, embeddings):
  distances = []
  for index, embedding in enumerate(embeddings):
    dist = distance.cosine(query_vector, embedding)
    distances.append({"distance": dist, "index": index})
  return min(distances, key=lambda x: x["distance"])


closest = find_closest(article_embeddings, class_embeddings)

Estrai l’etichetta più simile

label = topics[closest['index']]['label']

print(label)

Business

article = {"headline": "How NVIDIA GPUs Could Decide Who Wins the AI Race",
           "keywords": ["ai", "business", "computers"]}

Limite:

Descrizioni di classe troppo generiche

Descrizioni più dettagliate

topics = [
  {'label': 'Tech', 'description': 'A news article about technology'},
  {'label': 'Science', 'description': 'A news article about science'},
  {'label': 'Sport', 'description': 'A news article about sports'},
  {'label': 'Business', 'description': 'A news article about business'},
]


class_descriptions = [topic['description'] for topic in topics]
class_embeddings = create_embeddings(class_descriptions)

[...]
label = topics[closest['index']]['label']
print(label)

Tech

Ayo berlatih!

Introduzione agli Embeddings con l'API di OpenAI