# mPLUG-DocOwl2 – 阿里推出多页文档理解的多模态大模型，单页仅需324个token

- Link: https://paooo.com/aigc-news/26889/
- Published: 2026-07-09T14:15:40+08:00
- Author: 站外新闻

## mPLUG-DocOwl2是什么

mPLUG-DocOwl 2是由阿里巴巴通义实验室mPLUG团队推出的用于多页文档理解的多模态大型语言
模型。在不依赖光学字符识别（OCR）技术的情况下，通过高分辨率文档图像压缩技术，实现
对文档图片的高效理解和处理。mPLUG-DocOwl 2在多页文档理解基准测试中达到了新的最高
标准（SOTA），每页文档图像消耗324个token，降低显存占用和首包时间，提高处理速度。
模型的训练分为三个阶段：单页预训练、多页预训练和多任务指令微调。mPLUG-DocOwl 2支持
理解单页文档，还能处理多页文档中的复杂问题，如跨页内容关联和结构解析。

阅读目录

 * [mPLUG-DocOwl2是什么](https://paooo.com/aigc-news/26889/#mplugdocowl2%e6%98%af%e4%bb%80%e4%b9%88)
 * [mPLUG-DocOwl2的主要功能](https://paooo.com/aigc-news/26889/#mplugdocowl2%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [mPLUG-DocOwl2的技术原理](https://paooo.com/aigc-news/26889/#mplugdocowl2%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [mPLUG-DocOwl2的项目地址](https://paooo.com/aigc-news/26889/#mplugdocowl2%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [mPLUG-DocOwl2的应用场景](https://paooo.com/aigc-news/26889/#mplugdocowl2%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![mPLUG-DocOwl2](https://paooo.com/wp-content/uploads/2026/07/mPLUG-DocOwl2-website-
1.avif)

## mPLUG-DocOwl2的主要功能

 * **多页文档理解**：在不依赖OCR技术的情况下，直接从多页文档图像中提取和理解信息。
 * **高分辨率图像处理**：通过高分辨率文档图像压缩模块，将每页文档图像压缩成324个
   视觉token，减少显存占用和首包时间。
 * **多页问答能力**：回答有关多页文档内容的问题，提供详细的解释以及相关页码。
 * **文档结构解析**：解析并表示多页文档的层级结构，以JSON格式输出，便于进一步的数据
   处理和分析。
 * **跨页内容关联**：理解和关联多页文档中跨页的内容，提供跨页结构理解。
 * **高效处理**：在单个A100-80G GPU上，同时处理多达60页的高清文档图片，提高处理效率。

## mPLUG-DocOwl2的技术原理

 * **高分辨率文档图像压缩（High-resolution DocCompressor）**：基于低分辨率全局视觉
   特征作为指导，通过cross-attention机制将高分辨率文档图像压缩成较少的视觉token。
 * **Shape-adaptive Cropping**：自适应裁剪模块根据文档的形状和大小进行切割，来适应
   不同页面的布局。
 * **视觉特征提取**：使用视觉编码器（如ViT）提取每个切片的视觉特征，并通过H-Reducer
   模块进行特征合并和维度对齐。
 * **跨注意力机制**：在压缩过程中，使用全局图特征作为查询，切片特征作为键值对，通过
   cross-attention层实现特征压缩。
 * **全局与局部视觉特征结合**：结合全局视觉特征（捕捉布局信息）和局部视觉特征（保留
   文本和图像细节），实现更准确的文档理解。

## mPLUG-DocOwl2的项目地址

 * **GitHub仓库**：[https://github.com/X-PLUG/mPLUG-DocOwl/tree/main/DocOwl2](https://github.com/X-PLUG/mPLUG-DocOwl/tree/main/DocOwl2)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2409.03420v2](https://arxiv.org/pdf/2409.03420v2)

## mPLUG-DocOwl2的应用场景

 * **法律文件分析**：自动化解析法律文件和案例，提取关键信息，支持法律研究和案件准备。
 * **医疗记录管理**：从医疗记录和报告中提取重要数据，支持病人护理、研究和行政管理。
 * **学术研究**：帮助研究人员快速理解和总结大量文献，加速科学发现和知识创新。
 * **金融报告分析**：自动化处理年度报告、财务报表和其他金融文档，提取关键财务指标
   和趋势。
 * **政府文档处理**：自动化处理政府发布的公告、法规和政策文件，提高政府服务效率。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)