Gömme sistemler için vektör veritabanları

OpenAI API ile Embeddings’e Giriş

Emmanuel Pire

Senior Software Engineer, DataCamp

Mevcut yaklaşımın sınırlamaları

Tüm gömmeleri belleğe yükleme (1536 float ~ 13 kB/gömme)
Her yeni sorgu için gömmeleri yeniden hesaplama
Her gömme için kosinüs uzaklığı hesaplayıp sıralamak yavaştır ve doğrusal ölçeklenir

Her sorguda belgelerin ve sorgunun, depolama olmadan, yeniden gömüldüğünü gösteren diyagram.

Vektör veritabanları

Gömülü belgeler vektör veritabanında depolanır ve sorgulanır

Bir vektör veritabanının, belge gömmelerini depolamak ve gömülmüş bir sorguya göre kullanıcıya sonuç döndürmek için nasıl kullanıldığını gösteren diyagram.

NoSQL Veritabanı

Daha hızlı sorgu için daha esnek yapı

NoSQL veritabanı şemalarına örnekler: anahtar:değer, belge ve grafik veritabanları.

SQL/İlişkisel Veritabanı

Veriler tablolar, satırlar ve sütunlar halinde yapılandırılır

SQL (ilişkisel) veritabanında sütun ve satırlı tablolar.

Saklanacak bileşenler

Gömmeler
Kaynak metinler
Üstveri (metadata)
- Kimlikler ve referanslar
- Sonuçları filtrelemeye yarayan ek veriler

İpucu: Kaynak metni üstveri olarak depolamayın!

Bir vektör veritabanı simgesi.

Vektör veritabanı manzarası

En popüler vektör veritabanı çözümlerinin, açık/kapalı kaynak ve vektör veritabanına adanmış olup olmamasına göre sıralanmış görünümü.

¹ Görsel kredisi: Yingjun Wu

En iyi çözüm hangisi?

Veritabanı yönetimi:
- Yönetilen → daha pahalı ama iş yükünü azaltır
- Kendi kendine yönetilen → daha ucuz ama zaman ve uzmanlık ister
Açık kaynak mı, ticari mi?
- Açık kaynak → esnek ve uygun maliyetli
- Ticari → daha iyi destek, gelişmiş özellikler ve uyumluluk

Veri modelleri: veri türü belirli bir veritabanı türünü mü gerektiriyor?
Özel özellikler: kullanım durumunuz çok modlu depolama gibi belirli işlevlere mi bağlı?

Hadi pratik yapalım!

OpenAI API ile Embeddings’e Giriş