Семантичний пошук і збагачені вбудовування

Вступ до Embeddings з OpenAI API

Emmanuel Pire

Senior Software Engineer, DataCamp

Семантичний пошук

  • Використовуйте вбудовування, щоб повертати найбільш схожі результати на пошуковий запит
  • Приклад: Семантичний пошук для новинного сайту

Як працює семантичний пошук: пошуковий текст перетворюється на вбудовування моделлю вбудовувань, далі обчиснюється відстань між вбудованим запитом і вбудованими заголовками. Повертається найближчий заголовок.

Вступ до Embeddings з OpenAI API

Семантичний пошук

Як працює семантичний пошук: пошуковий текст перетворюється на вбудовування моделлю вбудовувань, далі обчиснюється відстань між вбудованим запитом і вбудованими заголовками. Повертається найближчий заголовок.

  1. Створіть вбудовування для запиту й інших текстів
  2. Обчисліть косинусні відстані
  3. Виберіть тексти з найменшою косинусною відстанню
Вступ до Embeddings з OpenAI API

Збагачені вбудовування

articles = [
    {"headline": "Economic Growth Continues Amid Global Uncertainty",
     "topic": "Business",
     "keywords": ["economy", "business", "finance"]},
    ...
    {"headline": "1.5 Billion Tune-in to the World Cup Final",
     "topic": "Sport",
     "keywords": ["soccer", "world cup", "tv"]}
]

Headline: Economic Growth Continues Amid Global Uncertainty
Topic: Business
Keywords: economy, business, finance
Вступ до Embeddings з OpenAI API

Поєднання ознак за допомогою F-рядків

articles = [..., {"headline": "1.5 Billion Tune-in to the World Cup ",
                  "topic": "Sport",
                  "keywords": ["soccer", "world cup", "tv"]}]


def create_article_text(article):

  return f"""Headline: {article['headline']}
Topic: {article['topic']}
Keywords: {', '.join(article['keywords'])}"""


print(create_article_text(articles[-1]))

Headline: 1.5 Billion Tune-in to the World Cup Final
Topic: Sport
Keywords: soccer, world cup, tv
Вступ до Embeddings з OpenAI API

Створення збагачених вбудовувань

article_texts = [create_article_text(article) for article in articles]


article_embeddings = create_embeddings(article_texts)

print(article_embeddings)

[[-0.019609929993748665, -0.03331860154867172, ...],
 ...,
 [..., -0.014373429119586945, -0.005235843360424042]]
Вступ до Embeddings з OpenAI API

Обчислення відстаней

from scipy.spatial import distance

def find_n_closest(query_vector, embeddings, n=3):

  distances = []
  for index, embedding in enumerate(embeddings):
    dist = distance.cosine(query_vector, embedding)
    distances.append({"distance": dist, "index": index})

  distances_sorted = sorted(distances, key=lambda x: x["distance"])

  return distances_sorted[0:n]
Вступ до Embeddings з OpenAI API

Повернення результатів пошуку

query_text = "AI"

query_vector = create_embeddings(query_text)[0]


hits = find_n_closest(query_vector, article_embeddings)


for hit in hits:
  article = articles[hit['index']]
  print(article['headline'])

Tech Giant Buys 49% Stake In AI Startup
Tech Company Launches Innovative Product to Improve Online Accessibility
India Successfully Lands Near Moon's South Pole
Вступ до Embeddings з OpenAI API

Давайте потренуємось!

Вступ до Embeddings з OpenAI API

Preparing Video For Download...