Поздравляем!

Введение в эмбеддинги с OpenAI API

Emmanuel Pire

Senior Software Engineer, DataCamp

Глава 1 — Что такое эмбеддинги?

Эмбеддинги: векторное/числовое представление текста
Отражают семантический смысл текста
Используется модель эмбеддингов OpenAI
Косинусное расстояние позволяет находить похожие тексты
Открывают возможности для семантического поиска, рекомендательных систем и др.

График двумерного векторного пространства, показывающий, что отзывы с одинаковой тональностью и темой расположены ближе друг к другу.

Глава 2 — Эмбеддинги в приложениях ИИ

Семантический поиск и рекомендации

Векторное представление поискового запроса в пространстве эмбеддингов рядом с несколькими статьями на разные темы.

Классификация

Векторные представления описаний классов в пространстве эмбеддингов; неизвестный вектор отнесён к категории Tech.

Глава 3 — Векторные базы данных

Схема, показывающая, как векторная база данных Chroma используется для хранения эмбеддингов документов и возврата результатов по векторизованному запросу.

Что дальше?

Облачные управляемые векторные базы данных

Pinecone:
- Semantic Search with Pinecone (Code-along)
Weaviate:
- Vector Databases for Data Science with Weaviate in Python (Code-along)

Фреймворки для создания приложений

LangChain:
- How to Build LLM Applications with LangChain (Tutorial)
- Introduction to Large Language Models with GPT & LangChain (Code-along)

Давайте потренируемся!

Введение в эмбеддинги с OpenAI API