Embeddingars fantastiska värld!

Introduktion till inbäddningar med OpenAI API

Emmanuel Pire

Senior Software Engineer, DataCamp

Vad är embeddings?

Koncept från Natural Language Processing (NLP)
Numerisk representation av text

Ett ord matas in i en embeddingmodell som producerar en numerisk representation av texten.

Vad är embeddings?

Text mappas till ett flerdimensionellt vektorrum
Talen som modellen returnerar är textens position i rummet
Liknande ord hamnar närmare varandra
Olika ord hamnar längre ifrån varandra

Text representerad numeriskt, där mer likartad text placeras närmre varandra.

Varför är embeddings användbara?

Embeddings fångar semantisk betydelse
Semantisk betydelse: kontext och avsikt bakom text

Exempel:
- "Hur tar jag mig till snabbköpet?"
- "Kan du visa mig vägen till butiken?"

Text representerad numeriskt, där mer likartad text placeras närmre varandra.

Semantiska sökmotorer

Traditionella sökmotorer
- Använder nyckelordsmatchning
- Kan missa den verkliga avsikten
- Missar ordvariationer

Semantiska sökmotorer

Använder embeddings för att förstå avsikt och kontext

Semantiska sökmotorer

Använder embeddings för att förstå avsikt och kontext

Rekommendationssystem

Exempel: Jobbannonsrekommendationer
- Rekommenderar jobb baserat på redan visade beskrivningar
- Hanterar variationer i jobbtitlar

Jobbrekommendationer visade som embeddings.

Klassificering

Klassificeringsuppgifter:

Klassificera sentiment
Klustra observationer
Kategorisering

Exempel:

Klassificera nyhetsrubriker

En okänd nyhetsrubrik visad som embeddings för att klassificeras.

Skapa en embeddings-förfrågan

Embeddings-endpoint

from openai import OpenAI


client = OpenAI(api_key="<OPENAI_API_KEY>")

response = client.embeddings.create(

  model="text-embedding-3-small",

  input="Embeddings are a numerical representation of text that can be used to
measure the relatedness between two pieces of text."

)


response_dict = response.model_dump()
print(response_dict)

¹ https://platform.openai.com/docs/api-reference/embeddings

Embeddings-svar

{'object': 'list',
 'data': [
    {
      "embedding": [0.0023064255, ..., -0.0028842222],
      "index": 0,
      "object": "embedding"
    }
  ],
 'model': 'text-embedding-3-small',
 'usage': {
  "prompt_tokens": 24,
  "total_tokens": 24
  }
}

Extrahera embeddings

print(response_dict['data'][0]['embedding'])

[0.0023064255, ...., -0.0028842222]

Nu kör vi en övning!

Introduktion till inbäddningar med OpenAI API

Preparing Video For Download...