企业知识库不只是文字文档，还有大量PPT、产品手册、设计图。纯文本RAG能检索到文字内容，但图片里的信息它处理不了。多模态RAG就是让系统能理解图文混合内容。

一、为什么纯文本RAG不够用

一份产品手册里，关键参数可能在表格里，操作步骤可能在截图里，外观展示可能在图片里。纯文本切分只能提取文档中的文字，表格结构和图片内容被丢弃了。用户问这个产品接口长什么样，RAG检索不到任何相关内容，因为信息在图片里。

多模态RAG的思路是：用视觉模型理解图片内容，生成图片描述或直接提取图片的embedding。检索时用户问的问题同时匹配文本向量和图片向量，找到相关图片和文字一起返回给大模型。这样模型不仅能引用文字，还能引用图片中的信息。

二、技术挑战

多模态RAG的难点在于图文对齐。一张技术架构图，视觉模型生成的描述可能很笼统，检索时匹配度不高。表格数据更麻烦：一个Excel表格里有几百行数据，你怎么让它被高效检索？方案包括：表格转markdown文本、表格数据结构化存储、用户问题触发精确查询而非向量检索。

三、什么时候需要多模态RAG

不是所有RAG都需要多模态。如果你的知识库主要是政策文档、技术规范这类纯文本内容，传统RAG就够了。只有当文档中包含大量有信息价值的图片、图表、表格时，多模态RAG才值得投入。技术复杂度高很多，要根据实际需求决定。