Database vektor untuk sistem embedding

Pengantar Embeddings dengan OpenAI API

Emmanuel Pire

Senior Software Engineer, DataCamp

Keterbatasan pendekatan saat ini

  • Memuat semua embedding ke memori (1536 float ~ 13 kB/embedding)
  • Menghitung ulang embedding untuk tiap query baru
  • Menghitung jarak kosinus untuk tiap embedding lalu mengurutkan itu lambat dan skala linier

Diagram yang menunjukkan dokumen dan query di-embed setiap kali tanpa solusi penyimpanan.

Pengantar Embeddings dengan OpenAI API

Database vektor

  • Dokumen ter-embed disimpan dan di-query dari database vektor

Diagram yang menunjukkan bagaimana database vektor menyimpan embedding dokumen dan mengembalikan hasil berdasarkan query ter-embed ke pengguna.

Pengantar Embeddings dengan OpenAI API

 

Database NoSQL
  • Struktur lebih fleksibel yang memungkinkan query lebih cepat

Contoh skema database NoSQL, termasuk key:value, dokumen, dan graf.

 

Database SQL/Relasional
  • Data terstruktur dalam tabel, baris, dan kolom

Tabel dengan kolom dan baris dalam database SQL, atau relasional.

Pengantar Embeddings dengan OpenAI API

Komponen yang disimpan

 

  • Embedding
  • Teks sumber
  • Metadata
    • ID dan referensi
    • Data tambahan untuk memfilter hasil

 

Tips utama: Jangan simpan teks sumber sebagai metadata!

Ikon database vektor.

Pengantar Embeddings dengan OpenAI API

Lanskap database vektor

Banyak solusi database vektor populer, diurutkan berdasarkan sumber tertutup atau open source, dan apakah khusus database vektor atau tidak.

1 Kredit Gambar: Yingjun Wu
Pengantar Embeddings dengan OpenAI API

Solusi mana yang terbaik?

 

  • Manajemen database:
    • Dikelola → lebih mahal, tetapi mengurangi beban kerja
    • Kelola sendiri → lebih murah, tetapi butuh waktu dan keahlian
  • Open source atau komersial?
    • Open source → fleksibel dan hemat biaya
    • Komersial → dukungan lebih baik, fitur lebih maju, dan kepatuhan

 

  • Model data: apakah jenis data cocok untuk tipe database tertentu?
  • Fitur spesifik: apakah use case Anda perlu fungsionalitas khusus, mis. penyimpanan multimodal?

Logo Chroma.

Pengantar Embeddings dengan OpenAI API

Ayo berlatih!

Pengantar Embeddings dengan OpenAI API

Preparing Video For Download...