---
title: "ViDoRAG – 通义联合中科大、上交大推出的视觉文档检索增强生成框架"
url: "https://paooo.com/aigc-news/21381/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T23:19:50+08:00"
updated_at: "2026-06-08T23:19:50+08:00"
categories: "AIGC 资讯"
tags: "AI智能体, RAG检索增强, 开源大模型, 通义千问"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# ViDoRAG – 通义联合中科大、上交大推出的视觉文档检索增强生成框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/21381/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 采用Seeker、Inspector、Answer三智能体协作，实现视觉文档从粗筛到精审再到最终生成的迭代推理。
- 通过高斯混合模型动态调整Top-K检索数量，减少噪声与计算开销，提升图文融合检索精度。
- 在ViDoSeek基准上平均性能提升超过10%，适合复杂文档理解、多跳推理与高一致性问答。

## ViDoRAG是什么

ViDoRAG是阿里巴巴通义实验室联合中国科学技术大学和上海交通大学推出的视觉文档检索增强生成框架。基于多智能体协作和动态迭代推理，解决传统方法在处理复杂视觉文档时的检索和推理局限性。ViDoRAG用高斯混合模型（GMM）的多模态混合检索策略，动态调整检索结果数量，优化文本和视觉信息的整合。框架中包含Seeker、Inspector和Answer三种智能体，分别负责快速筛选、详细审查和最终答案生成，基于迭代交互逐步细化答案，提升生成质量和一致性。ViDoRAG在ViDoSeek基准数据集上显著优于现有方法，平均性能提升超过10%，展现了在视觉文档检索和推理任务中的高效性和优越性。

## ViDoRAG的主要功能

- **多模态检索**：整合视觉和文本信息，实现精准的文档检索。

- **动态迭代推理**：多智能体协作（Seeker、Inspector、Answer Agent），逐步细化答案，提升推理深度和准确性。

- **复杂文档理解**：支持单跳和多跳推理，处理复杂的视觉文档内容。

- **生成一致性保障**：基于Answer Agent确保最终答案的准确性和一致性。

- **高效生成**：动态调整检索结果数量，减少计算开销，提升生成效率。

## ViDoRAG的技术原理

- **多模态混合检索**：结合文本和视觉检索结果，基于高斯混合模型（GMM）动态调整检索结果数量。GMM拟合查询与文档集合的相似度分布，动态确定最优的检索结果数量（Top-K），避免固定数量检索带来的噪声和计算开销，有效整合视觉和文本信息，提升检索精度，减少无关信息的干扰。

- **动态迭代推理框架**：

**Seeker Agent**：负责快速筛选相关图像或文档片段，提供全局线索。

- **Inspector Agent**：对筛选结果进行详细审查，提供反馈或初步答案。

- **Answer Agent**：整合Inspector的初步答案，验证一致性生成最终答案。

- **粗到细的生成策略**：从全局视角开始，逐步聚焦到局部细节，多智能体协作实现从粗到细的生成过程，减少无关信息的干扰，提升生成效率和准确性。

- **推理能力激活**：基于迭代推理和多智能体协作，激活模型的推理能力，特别是在处理复杂视觉文档时，提升模型在多跳推理和复杂文档理解任务中的表现。

- **动态检索长度调整**：基于GMM动态调整检索结果数量，避免固定Top-K值带来的局限性，减少计算开销，提升检索效率和生成质量。

## ViDoRAG的项目地址

- **GitHub仓库**：[https://github.com/Alibaba-NLP/ViDoRAG](https://github.com/Alibaba-NLP/ViDoRAG)

- **arXiv技术论文**：[https://arxiv.org/pdf/2502.18017](https://arxiv.org/pdf/2502.18017)

## ViDoRAG的应用场景

- **教育领域**：帮助学生和教师快速检索教材中的图表、数据和文字内容，生成精准解答和知识点总结。

- **金融行业**：从财务报告和市场研究文档中提取关键数据和图表，生成分析报告，辅助投资决策。

- **医疗健康**：快速定位医学文献中的图表和数据，辅助医生进行研究或生成患者教育材料。

- **法律行业**：从法律文件中检索相关条款和案例图表，辅助律师分析案件或准备文件。

- **企业知识管理**：从内部文档中提取关键信息，快速回答员工查询，生成项目报告或风险分析。

## 常见问题解答 (FAQ)

### ViDoRAG适合处理什么类型文档？
ViDoRAG主要面向复杂视觉文档场景，能同时处理文本、图表和图像信息，适合单跳与多跳推理任务，例如教材、财报、医学文献、法律文件和企业内部文档问答。

### ViDoRAG相比传统RAG有什么优势？
它不只做固定Top-K检索，而是用GMM动态调整检索数量，并通过Seeker、Inspector、Answer多智能体迭代推理，减少无关信息干扰，提升检索精度、答案一致性和生成质量。

### ViDoRAG的实测效果如何？
文章提到，ViDoRAG在ViDoSeek基准数据集上显著优于现有方法，平均性能提升超过10%，说明其在视觉文档检索和复杂推理任务中具有较强效果。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
