以文字與圖片進行 RAG

使用 Weaviate 打造端到端 RAG

JP Hwang

Senior Developer Educator, Weaviate

那圖片怎麼辦？

 

  • 經過 docling 後的圖片：<!-- image -->
  • 圖片脈絡會遺失

 

  • 新作法：把整份文件當作圖片處理

hai_ai-index-report-2025_chapter2_excerpts_8_of_8.jpg

使用 Weaviate 打造端到端 RAG

以圖片進行 RAG

image_rag.png

使用 Weaviate 打造端到端 RAG

多模態嵌入模型

cat_in_hat.png

使用 Weaviate 打造端到端 RAG

圖片編碼

encoding_images1.png

使用 Weaviate 打造端到端 RAG

圖片編碼

encoding_images2.png

使用 Weaviate 打造端到端 RAG

圖片編碼

encoding_images.png

使用 Weaviate 打造端到端 RAG

用圖片擴充與生成

 

multi_modal_prompt.png

使用 Weaviate 打造端到端 RAG

一起來練習吧！

使用 Weaviate 打造端到端 RAG

Preparing Video For Download...