RAG с текстом и изображениями

Сквозной RAG с Weaviate

JP Hwang

Senior Developer Educator, Weaviate

Что происходит с изображениями?

 

  • Изображения после docling: <!-- image -->
  • Контекст изображений теряется

 

  • Новый подход: обрабатывать весь документ как изображение

hai_ai-index-report-2025_chapter2_excerpts_8_of_8.jpg

Сквозной RAG с Weaviate

RAG с изображениями

image_rag.png

Сквозной RAG с Weaviate

Мультимодальные модели эмбеддингов

cat_in_hat.png

Сквозной RAG с Weaviate

Кодирование изображений

encoding_images1.png

Сквозной RAG с Weaviate

Кодирование изображений

encoding_images2.png

Сквозной RAG с Weaviate

Кодирование изображений

encoding_images.png

Сквозной RAG с Weaviate

Дополнение запросов и генерация с изображениями

 

multi_modal_prompt.png

Сквозной RAG с Weaviate

Давайте потренируемся!

Сквозной RAG с Weaviate

Preparing Video For Download...