# ViDoRAG – 通义联合中科大、上交大推出的视觉文档检索增强生成框架

- Link: https://paooo.com/aigc-news/21381/
- Published: 2026-06-08T23:19:50+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 采用Seeker、Inspector、Answer三[智能体](https://paooo.com/trends/)协作，实现视觉
   文档从粗筛到精审再到最终生成的迭代推理。
 * 通过高斯混合模型动态调整Top-K检索数量，减少噪声与计算开销，提升图文融合检索精度。
 * 在ViDoSeek基准上平均性能提升超过10%，适合复杂文档理解、多跳推理与高一致性问答。

## ViDoRAG是什么

ViDoRAG是阿里巴巴通义实验室联合中国科学技术大学和上海交通大学推出的视觉文档检索增强
生成框架。基于多智能体协作和动态迭代推理，解决传统方法在处理复杂视觉文档时的检索
和推理局限性。ViDoRAG用高斯混合模型（GMM）的多模态混合检索策略，动态调整检索结果
数量，优化文本和视觉信息的整合。框架中包含Seeker、Inspector和Answer三种智能体，分别
负责快速筛选、详细审查和最终答案生成，基于迭代交互逐步细化答案，提升生成质量和一致性。
ViDoRAG在ViDoSeek基准数据集上显著优于现有方法，平均性能提升超过10%，展现了在视觉
文档检索和推理任务中的高效性和优越性。

阅读目录

 * [ViDoRAG是什么](https://paooo.com/aigc-news/21381/#vidorag%e6%98%af%e4%bb%80%e4%b9%88)
 * [ViDoRAG的主要功能](https://paooo.com/aigc-news/21381/#vidorag%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [ViDoRAG的技术原理](https://paooo.com/aigc-news/21381/#vidorag%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [ViDoRAG的项目地址](https://paooo.com/aigc-news/21381/#vidorag%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [ViDoRAG的应用场景](https://paooo.com/aigc-news/21381/#vidorag%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![ViDoRAG ](https://paooo.com/wp-content/uploads/2026/06/ViDoRAG-website-1.avif)

## ViDoRAG的主要功能

 * **多模态检索**：整合视觉和文本信息，实现精准的文档检索。
 * **动态迭代推理**：多智能体协作（Seeker、Inspector、Answer Agent），逐步细化答案，
   提升推理深度和准确性。
 * **复杂文档理解**：支持单跳和多跳推理，处理复杂的视觉文档内容。
 * **生成一致性保障**：基于Answer Agent确保最终答案的准确性和一致性。
 * **高效生成**：动态调整检索结果数量，减少计算开销，提升生成效率。

## ViDoRAG的技术原理

 * **多模态混合检索**：结合文本和视觉检索结果，基于高斯混合模型（GMM）动态调整检索
   结果数量。GMM拟合查询与文档集合的相似度分布，动态确定最优的检索结果数量（Top-
   K），避免固定数量检索带来的噪声和计算开销，有效整合视觉和文本信息，提升检索精度，
   减少无关信息的干扰。
 * **动态迭代推理框架**：
    - **Seeker Agent**：负责快速筛选相关图像或文档片段，提供全局线索。
    - **Inspector Agent**：对筛选结果进行详细审查，提供反馈或初步答案。
    - **Answer Agent**：整合Inspector的初步答案，验证一致性生成最终答案。
 * **粗到细的生成策略**：从全局视角开始，逐步聚焦到局部细节，多智能体协作实现从粗
   到细的生成过程，减少无关信息的干扰，提升生成效率和准确性。
 * **推理能力激活**：基于迭代推理和多智能体协作，激活模型的推理能力，特别是在处理
   复杂视觉文档时，提升模型在多跳推理和复杂文档理解任务中的表现。
 * **动态检索长度调整**：基于GMM动态调整检索结果数量，避免固定Top-K值带来的局限性，
   减少计算开销，提升检索效率和生成质量。

## ViDoRAG的项目地址

 * **GitHub仓库**：[https://github.com/Alibaba-NLP/ViDoRAG](https://github.com/Alibaba-NLP/ViDoRAG)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.18017](https://arxiv.org/pdf/2502.18017)

## ViDoRAG的应用场景

 * **教育领域**：帮助学生和教师快速检索教材中的图表、数据和文字内容，生成精准解答
   和知识点总结。
 * **金融行业**：从财务报告和市场研究文档中提取关键数据和图表，生成分析报告，辅助
   投资决策。
 * **医疗健康**：快速定位医学文献中的图表和数据，辅助医生进行研究或生成患者教育材料。
 * **法律行业**：从法律文件中检索相关条款和案例图表，辅助律师分析案件或准备文件。
 * **企业知识管理**：从内部文档中提取关键信息，快速回答员工查询，生成项目报告或风险
   分析。

❓ 常见问题解答（FAQ）

ViDoRAG适合处理什么类型文档？

ViDoRAG主要面向复杂视觉文档场景，能同时处理文本、图表和图像信息，适合单跳与多跳推理
任务，例如教材、财报、医学文献、法律文件和企业内部文档问答。

ViDoRAG相比传统RAG有什么优势？

它不只做固定Top-K检索，而是用GMM动态调整检索数量，并通过Seeker、Inspector、Answer
多智能体迭代推理，减少无关信息干扰，提升检索精度、答案一致性和生成质量。

ViDoRAG的实测效果如何？

文章提到，ViDoRAG在ViDoSeek基准数据集上显著优于现有方法，平均性能提升超过10%，说明
其在视觉文档检索和复杂推理任务中具有较强效果。

🔬 语宙深潜追问 · 进阶实操拆解

GMM动态检索到底解决什么？

它主要解决文档页内信息分布不均、问题难度变化大时的检索失配。做法是根据当前查询和
中间推理状态动态调整检索粒度与候选集，减少固定 top-k 带来的漏召回和噪声干扰。

如何提升答案一致性？

可在检索后加入证据对齐、交叉验证和自检环节，让模型先生成候选答案，再回查原文与图表
证据。工程上还要统一页码、坐标和引用格式，否则多智能体容易各说各话。

🗳️ 读者观点微投票 · 您的实战立场是？

视觉文档RAG该先堆检索还是先做推理？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧬 所属权威专题：RAG 知识库与模型微调 →](https://paooo.com/topics/rag-fine-tuning/)

 * [VideoRAG – 用于长视频理解的检索增强生成技术](https://paooo.com/aigc-news/23200/)
 * [VRAG-RL框架详解：阿里通义如何用强化学习突破多模态RAG推理瓶颈？](https://paooo.com/aigc-news/15015/)
 * [VimRAG重磅开源：阿里通义首创多模态记忆图，企业级图文视频RAG精度飙升50%](https://paooo.com/aigc-news/11149/)
 * [华南理工与微信AI联手发布ComoRAG：模拟人脑推理的下一代RAG框架，长文本理解能力飙升](https://paooo.com/aigc-news/14022/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21381/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
