含文本与图像的 RAG

使用 Weaviate 实现端到端 RAG

JP Hwang

Senior Developer Educator, Weaviate

那图像怎么办？

 

  • 通过 docling 处理后的图像：<!-- image -->
  • 图像上下文丢失

 

  • 新方法：将整份文档视为图像

报告图像页

使用 Weaviate 实现端到端 RAG

基于图像的 RAG

图像 RAG 流程

使用 Weaviate 实现端到端 RAG

多模态嵌入模型

戴帽子的猫

使用 Weaviate 实现端到端 RAG

图像编码

编码图像1

使用 Weaviate 实现端到端 RAG

图像编码

编码图像2

使用 Weaviate 实现端到端 RAG

图像编码

编码图像

使用 Weaviate 实现端到端 RAG

用图像增强与生成

 

多模态提示

使用 Weaviate 实现端到端 RAG

开始练习！

使用 Weaviate 实现端到端 RAG

Preparing Video For Download...