Systemy rekomendacji

Wprowadzenie do osadzeń z OpenAI API

Emmanuel Pire

Senior Software Engineer, DataCamp

Systemy rekomendacji z embeddingami

Bardzo podobne do wyszukiwania semantycznego!

Proces:

Tworzenie embeddingów potencjalnych rekomendacji i punktu danych

Jeden niebieski punkt danych i kilka czerwonych punktów w przestrzeni wektorowej.

Systemy rekomendacji z embeddingami

Bardzo podobne do wyszukiwania semantycznego!

Proces:

Tworzenie embeddingów potencjalnych rekomendacji i punktu danych
Obliczanie odległości cosinusowych

Jeden niebieski punkt danych i kilka czerwonych punktów w przestrzeni wektorowej. Linie między czerwonymi a niebieskim punktem oznaczają odległości cosinusowe.

Systemy rekomendacji z embeddingami

Bardzo podobne do wyszukiwania semantycznego!

Proces:

Tworzenie embeddingów potencjalnych rekomendacji i punktu danych
Obliczanie odległości cosinusowych
Rekomendowanie najbliższych elementów

Trzy najbliższe czerwone punkty zostały wyróżnione.

Przykład: rekomendowane artykuły

articles = [
    {"headline": "Economic Growth Continues Amid Global Uncertainty",
     "topic": "Business",
     "keywords": ["economy", "business", "finance"]},
    ...
    {"headline": "1.5 Billion Tune-in to the World Cup Final",
     "topic": "Sport",
     "keywords": ["soccer", "world cup", "tv"]}
]


current_article = {"headline": "How NVIDIA GPUs Could Decide Who Wins the AI Race",
                   "topic": "Tech",
                   "keywords": ["ai", "business", "computers"]}

Łączenie cech

def create_article_text(article):
  return f"""Headline: {article['headline']}
Topic: {article['topic']}
Keywords: {', '.join(article['keywords'])}"""

article_texts = [create_article_text(article) for article in articles]
current_article_text = create_article_text(current_article)
print(current_article_text)

Headline: How NVIDIA GPUs Could Decide Who Wins the AI Race
Topic: Tech
Keywords: ai, business, computers

Tworzenie embeddingów

def create_embeddings(texts):
  response = openai.Embedding.create(
    model="text-embedding-3-small",
    input=texts
  )
  response_dict = response.model_dump()

  return [data['embedding'] for data in response_dict['data']]

current_article_embeddings = create_embeddings(current_article_text)[0]
article_embeddings = create_embeddings(article_texts)

Wyszukiwanie najbardziej podobnego artykułu

def find_n_closest(query_vector, embeddings, n=3):
  distances = []
  for index, embedding in enumerate(embeddings):
    dist = spatial.distance.cosine(query_vector, embedding)
    distances.append({"distance": dist, "index": index})
  distances_sorted = sorted(distances, key=lambda x: x["distance"])
  return distances_sorted[0:n]

hits = find_n_closest(current_article_embeddings, article_embeddings)


for hit in hits:
  article = articles[hit['index']]
  print(article['headline'])

Wyszukiwanie najbardziej podobnego artykułu

Tech Giant Buys 49% Stake In AI Startup
Tech Company Launches Innovative Product to Improve Online Accessibility
Scientists Make Breakthrough Discovery in Renewable Energy

Uwzględnianie historii użytkownika

user_history = [
    {"headline": "How NVIDIA GPUs Could Decide Who Wins the AI Race",
     "topic": "Tech",
     "keywords": ["ai", "business", "computers"]},
    {"headline": "Tech Giant Buys 49% Stake In AI Startup",
     "topic": "Tech",
     "keywords": ["business", "AI"]}
]

Rekomendacje na podstawie wielu punktów danych

Wykres przedstawiający osadzone artykuły: artykuły z historii użytkownika zaznaczono na niebiesko, a nieodczytane — na czerwono.

Rekomendacje na podstawie wielu punktów danych

Proces:

Łączenie wektorów w jeden przez obliczenie średniej
Obliczanie odległości cosinusowych

Punkt obliczony ze średniej dwóch wektorów został dodany pomiędzy nimi.

Rekomendacje na podstawie wielu punktów danych

Proces:

Łączenie wektorów w jeden przez obliczenie średniej
Obliczanie odległości cosinusowych
Rekomendowanie najbliższego wektora

Najbliższy czerwony punkt został wyróżniony jako rekomendacja.

Rekomendacje na podstawie wielu punktów danych

Proces:

Łączenie wektorów w jeden przez obliczenie średniej
Obliczanie odległości cosinusowych
Rekomendowanie najbliższego wektora

Najbliższy punkt zaznaczono na niebiesko, podkreślając, że kod powinien pomijać artykuły już przeczytane przez użytkownika.

Rekomendacje na podstawie wielu punktów danych

Proces:

Łączenie wektorów w jeden przez obliczenie średniej
Obliczanie odległości cosinusowych
Rekomendowanie najbliższego wektora
- Tylko nieprzeczytane artykuły

Wyróżniono najbliższy czerwony punkt, tym razem nieco dalej.

Rekomendacje na podstawie wielu punktów danych

def create_article_text(article):
  return f"""Headline: {article['headline']}
Topic: {article['topic']}
Keywords: {', '.join(article['keywords'])}"""

history_texts = [create_article_text(article) for article in user_history]
history_embeddings = create_embeddings(history_texts)

mean_history_embeddings = np.mean(history_embeddings, axis=0)


articles_filtered = [article for article in articles if article not in user_history]

article_texts = [create_article_text(article) for article in articles_filtered]
article_embeddings = create_embeddings(article_texts)

Rekomendacje na podstawie wielu punktów danych

hits = find_n_closest(mean_history_embeddings, article_embeddings)


for hit in hits:
  article = articles_filtered[hit['index']]
  print(article['headline'])

Tech Company Launches Innovative Product to Improve Online Accessibility
New Social Media Platform Has Everyone Talking!
Scientists Make Breakthrough Discovery in Renewable Energy

Czas na ćwiczenia!

Wprowadzenie do osadzeń z OpenAI API