答对但说不出依据？上海交大联合复旦开源全模态评测基准EvaOmni：首创视听双模态时序定位IoU、防单模态捷径机制与Gemini实测暴跌全景架构深度拆解

💡 站外导读：当前多模态大模型在各路刷榜竞赛中高歌猛进，但“能选对选择题”是否等同于“真正理解了视频”？业界长期面临模型依赖文本先验常识或单一模态线索“投机答题”的黑盒顽疾。上海交通大学、复旦大学联合腾讯优图实验室重磅开源全模态评测基准 EvaOmni，彻底打破传统“仅看答案正误”的评测范式，首创强制输出“答案+音视频证据时间区间”三元组机制，用严苛的视听时序交并比（IoU）撕开当前前沿大模型可解释性与因果推理的真实遮羞布。

一、 评测范式革命：从“玄学刷题”到“证据链闭环验证”

在现有各类视频大模型基准测试中，最常见的一幕是：模型即便给出了正确答案，但如果让其指出“支撑该结论的画面发生在哪一秒、背景声音传达了什么关键线索”，往往会瞬间陷入幻觉或含糊其辞。这种“答对但说不出依据”的现象，本质上暴露出当前 Omni（全模态）模型并未建立真正的跨模态因果对齐，而是通过文本先验知识或画面中某一个孤立的高频元素“蒙对”了选项。

针对这一行业盲区，来自上海交通大学、复旦大学以及腾讯优图实验室的研究团队联合推出了开源评测基准 EvaOmni。该基准包含精心挑选的 392 段真实复杂视频、1,027 道高精度人工标注问答，全方位覆盖 15 种核心认知能力与 3 个递进的推理层级。其最具革命性的设计在于：模型作答时不能单回传选项字母，必须同时交出支撑该答案的音频时间戳区间与视频时间戳区间，由评测内核同时核验答案正确性与证据定位精度。

二、 核心技术架构：四阶段流水线与双指标时序评分机制

1. 证据感知的三元组数据结构

在 EvaOmni 架构中，模型的标准推理输出被定义为一个严格的形式化三元组：

{
  "selected_option": "A",
  "audio_evidence_intervals": [[12.4, 15.8], [45.2, 48.0]],
  "video_evidence_intervals": [[11.0, 16.5]]
}

评测框架通过双向对齐算法，分别在时序维度将模型预测的区间与专家标注的真实证据区间进行几何比对，彻底封死单凭文字语义瞎猜的空间。

2. 严苛的四阶段数据构建流水线

为了确保数据集 100% 具备全模态因果必要性，研究团队制定了严密的四阶段闭环生产管线：

• 视频筛选阶段：彻底剔除包含硬编码字幕、弹幕、大面积解说文字覆盖的视频，确保模型无法通过 OCR 走文字捷径；
• 专家标注阶段：由跨领域专家编写深度题目，并基于视频动态细节设计极具迷惑性的强相关干扰项，同时精准标注毫秒级视听双模态证据切片；
• 交叉双盲审核：由第二批独立专家对题目难度、模态归属及证据质量进行交叉盲审，任何争议样本均提交两名资深教授仲裁；
• 单模态捷径清洗（Shortcut Filtering）：将题目分别输入仅纯文本、仅音频、仅静止画面的单模态大模型中作答。凡能在任一单模态下被猜对的题目，一律判定为“非真多模态任务”并直接打回重标，从源头上根除了“漏题”与低智常识题。

3. 覆盖—定位双指标（C.G. & B.G.）与短板模态防作弊定分

EvaOmni 构建了科学的双维度量化数学评分体系：

• 证据覆盖分（Coverage of Grounding, C.G.）：统计真实标注的证据切片是否被预测区间有效捕获，衡量模型线索收集的完整度；
• 瓶颈定位分（Bottleneck Grounding, B.G.）：分别计算音频区间与视频区间的时序交并比（Temporal IoU），并强制取两者的最小值定分。该设计直击痛点：如果模型视频找得极准但音频完全乱飘，或者只有音频靠谱，最终定位分依然会被弱模态直接拉平为零分，彻底杜绝了“用视觉强项掩盖听觉弱项”的伪全模态行为。

三、 权威基准横向测评：EvaOmni vs. Video-MME 核心技术对比

下表清晰展示了 EvaOmni 与此前主流视频理解评测基准 Video-MME 的本质代际差异：

四、 实测成绩大起底：Gemini 3.7 Flash 暴跌 59.2 个百分点的技术启示

研究团队动用 EvaOmni 评测框架对目前全球主流的 24 个全模态模型进行了全量大摸底。实测结果展现出了令人震撼的鸿沟：

• 人类专家表现：人类在答题正确率上达到 97.1%，而在双模态瓶颈定位分（B.G.）上高达 94.3%，证明人类能极其自然地指认哪一帧画面配合哪一声异响构成了决策前提；
• 最强模型 Gemini 3.7 Flash：在纯选择题准确率上交出了 79.4% 的优异答卷，距离人类差距仅约 17 个百分点；
• 致命短板暴露：然而在双模态瓶颈定位分（B.G.）上，Gemini 3.7 Flash 瞬间暴跌至 35.1%，与人类专家的差距被骤然拉大至 59.2 个百分点！

这一断层级的数据差异雄辩地证明：即便是当今工业界最前沿的多模态旗舰模型，内部多模态特征融合机制仍处于“初级统计关联”阶段，在涉及需要多时间段声画互补印证的复杂多跳推理（Level 3）时，模型依然极易“凭直觉猜准了结论，但在事实依据的时空定位上一团乱麻”。

五、 极简实操：三步快速接入 EvaOmni 评测流水线

EvaOmni 目前已在 GitHub、HuggingFace 与 ModelScope 全面开源。开发者可通过如下极简流程快速将自研模型接入流水线：

1. 安装与拉取数据集：

   pip install -U modelscope
   python -c "from modelscope import dataset_snapshot_download; dataset_snapshot_download('VisionXLab/EvaOmni-Dataset', local_dir='./data/EvaOmni')"

   📋 一键复制 Prompt 咒语
2. 接入待评模型推理：基于官方统一 Prompt 模板，驱动你的全模态模型返回选项及时间切片三元组；
3. 自动化批处理评分：

   python evaluate_omni.py --model_preds ./results/preds.json --dataset_dir ./data/EvaOmni --output_metrics ./metrics.json

   📋 一键复制 Prompt 咒语