# 字节港科大重磅突破：MMProLong以QA训练取代OCR，长文档LMM效率飙升、成本骤降

- Link: https://paooo.com/aigc-news/17548/
- Published: 2026-05-25T10:31:57+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * MMProLong用QA训练取代OCR转录，验证长文档能力更依赖数据组织方式而非单纯堆token。
 * 仅128K Token训练预算下，模型仍能在256K至512K Token输入中保持稳定，未出现性能崩溃。
 * 在MMLongBench与MM-NIAH上，MMProLong超越InternVL3-38B、Gemma3-27B，并可迁移到长
   视频理解。

> **💡 站外导读：**多模态大模型（LMM）的“长文档”处理能力，是通往真正智能体的核心
> 瓶颈。当前行业主流依赖OCR文本转录进行训练，但这真的有效吗？字节跳动Seed团队与香港
> 科技大学的最新研究MMProLong，直接戳破了这一传统迷思。研究发现，在长上下文训练中，
> 针对特定目标的问答对（QA）训练，其效果远超简单的OCR转录，甚至后者可能有害。这一
> 发现，重新定义了大模型长文本能力的构建范式。

5月24日，字节跳动Seed团队联合香港科技大学发布了一项针对多模态大语言模型（LMM）长
文档训练的最新研究成果。研究人员基于阿里巴巴开源的Qwen2.5-VL构建了名为 **MMProLong**
的新模型，并在长文档处理效率上取得突破性进展。该研究不仅打破了多模态模型长文本训练
的传统路径，更揭示了数据组织形式对模型长上下文能力的关键影响。

本项研究揭示了一个关键突破点：在多模态长文档的模型训练中，采用针对特定任务设计的
问答对（QA）进行训练，其效果远胜于传统的光学字符识别（OCR）转录方式。研究数据显示，
单纯依靠文本转录作为训练任务，不仅无助于增强模型在长文本中的信息定位能力，反而可能
造成性能退化。相反，借助独立模型（例如字节跳动的Seed2.0）所生成的、包含长上下文的
问答数据进行训练，能够有效指导模型在复杂冗长的干扰信息中，准确锁定并提取出目标段落。

基于这一优化策略，MMProLong 在仅 **128，000个Token** 的有限训练预算下，展现出极强
的长文本稳定性，在输入长度达到 **256，000乃至512，000个Token** 时依然没有出现性能
崩溃，并在 MMLongBench 和 MM-NIAH（大海捞针）基准测试中大幅超越 InternVL3-38B 和
Gemma3-27B等体量更大的开源模型。此外，MMProLong 的多模态能力还成功迁移至未经专门
训练的长视频理解任务中，并在Qwen3-VL-8B模型上同样验证了该策略 water-proof 的有效性。

这项研究为大模型行业的发展指出了另一条路径，它不同于[DeepSeek](https://paooo.com/?s=DeepSeek)
所采取的通过视觉信息高度压缩与重排来升级架构的思路。研究证实，通过优化训练数据的
结构与组织方式，而非对底层模型架构进行大刀阔斧的修改，同样能够实现模型在长上下文
理解能力上的重大飞跃。这一发现为未来开发支持更长文本模态、具备多步骤推理能力的智能
体，开辟了一条更为经济且高效的技术实现途径。

#### 📝 站长洞察 (Editor’s Insight)

主编点评：这篇研究的价值，远不止一个新模型。它揭示了一个行业级的范式转移：长上下文
能力的核心，可能不在于无限堆砌token或疯狂改造架构，而在于我们‘喂给’模型的数据是什么
形态。字节和港科大用QA对取代OCR，本质上是从‘模仿文本表面’转向‘学习推理与检索’，这
直指[大模型](https://paooo.com/ai-study/)智能的本质。这与DeepSeek压缩视觉信息的架构
路径形成绝佳对照，证明了‘数据炼金术’与‘架构革命’同样重要。对于从业者而言，这意味
着：在追求更大更长的模型之前，先审视你的训练数据构建方法。MMProLong在更低训练预算
下达成的性能飞跃，预示着一种更经济、更普适的长上下文能力提升路线，尤其对多模态智能
体、超长文档分析等场景具有直接指导意义。这是务实而前瞻的一步。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

❓ 常见问题解答（FAQ）

MMProLong为什么不用OCR训练？

研究发现，OCR转录更像“复述文本表面”，对长文档中的信息定位帮助有限，甚至可能带来性能
退化。相比之下，针对任务设计的QA数据更能训练模型在冗长干扰中检索并提取目标信息。

MMProLong的核心突破是什么？

核心突破是用QA训练替代OCR转录，并在仅128K Token训练预算下，让模型在256K到512K Token
长上下文输入中保持稳定，同时在长文档基准上超过更大开源模型。

MMProLong能用于长视频理解吗？

可以。文章提到，该策略的多模态能力已迁移到未经专门训练的长视频理解任务，并在Qwen3-
VL-8B上验证有效，说明这种数据组织方法具有较强通用性。

🔬 语宙深潜追问 · 进阶实操拆解

QA训练怎么覆盖长文档信息？

用任务导向QA把文档中的关键关系、表格、跨页引用和隐含约束显式化，再配合多粒度问题
设计。这样模型学到的是“如何定位答案”，而不是死记OCR文本，训练成本更低，泛化也更强。

256K到512K上下文怎么稳住？

核心是分层注意力与数据清洗：先压缩冗余，再保留结构锚点，如标题、表格、图注和章节
边界；训练中加入长距离依赖样本和负例，避免模型只会局部匹配。评测要看跨段推理和抗
噪能力。

🗳️ 读者观点微投票 · 您的实战立场是？

长文档LMM训练，OCR真该被QA替代吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [阿里开源QwenLong-L1.5：百万级Token长文本推理，性能叫板GPT-5，技术原理与应用场景全解析](https://paooo.com/aigc-news/12514/)
 * [阿里Qwen开源QwenLong-L1-32B：320亿参数长文本推理模型，性能对标顶级闭源模型](https://paooo.com/aigc-news/17012/)
 * [BlueLM-V-3B – ViVo联合香港中文大学推出的算法和系统协同设计方法](https://paooo.com/aigc-news/25492/)
 * [小红书hi lab重磅开源dots.llm1：1420亿参数MoE大模型，性能对标Qwen2.5-72B](https://paooo.com/aigc-news/14968/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/17548/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
