Векторные базы данных для систем эмбеддингов

Введение в эмбеддинги с OpenAI API

Emmanuel Pire

Senior Software Engineer, DataCamp

Ограничения текущего подхода

Загрузка всех эмбеддингов в память (1536 чисел float ~ 13 кБ/эмбеддинг)
Пересчёт эмбеддингов при каждом новом запросе
Вычисление косинусных расстояний и сортировка работают медленно и масштабируются линейно

Диаграмма, показывающая, как документы и запрос встраиваются при каждом запросе без решения для хранения.

Диаграмма, показывающая, как векторная база данных используется для хранения эмбеддингов документов и возврата результатов по встроенному запросу.

Примеры схем NoSQL-баз данных: «ключ — значение», документные и графовые.

Таблицы со столбцами и строками в SQL, или реляционной, базе данных.

Эмбеддинги
Исходные тексты
Метаданные
- Идентификаторы и ссылки
- Дополнительные данные для фильтрации результатов

Совет: не храните исходный текст в метаданных!

Иконка векторной базы данных.

Наиболее популярные решения для векторных баз данных, сгруппированные по открытости исходного кода и специализации.

¹ Автор изображения: Yingjun Wu

Управление базой данных:
- Управляемое → дороже, но снижает нагрузку на команду
- Самостоятельное → дешевле, но требует времени и экспертизы
Открытый или коммерческий код?
- Открытый исходный код → гибкость и экономичность
- Коммерческий → лучшая поддержка, расширенные функции и соответствие требованиям

Модели данных: подходит ли тип данных для конкретного типа базы?
Специфические функции: требует ли ваш сценарий особой функциональности, например мультимодального хранения?

Введение в эмбеддинги с OpenAI API