上海AI Lab重磅发布MMSI-Video-Bench：评估大模型视频空间智能的终极基准

💡 站外导读：随着多模态大语言模型（MLLMs）在视频理解领域的快速发展，如何系统、权威地评估模型在真实物理世界中的空间智能成为核心痛点。上海AI Lab联合多所顶尖高校推出的MMSI-Video-Bench，正是为解决这一行业难题而生。该基准基于真实场景数据，构建了一个从空间感知到高阶因果推理的全面测试框架，旨在推动AI从简单的视觉识别走向对动态世界的深度理解与决策，为自动驾驶、机器人等前沿应用铺平道路。

MMSI-Video-Bench是什么

MMSI-Video-Bench 是用于评估多模态大语言模型（MLLMs）在视频空间智能方面能力的基准测试工具。由上海人工智能实验室等多所高校联合推出，全面评估模型在真实物理世界中的空间理解与推理能力。基准包含来自25个公开数据集和1个自建数据集的1278个视频片段，覆盖室内场景、室外街景、机器人操作等多种复杂场景。问题由11位3D视觉研究员精心设计，确保了高挑战性和准确性。MMSI-Video-Bench 通过多层次任务设计，涵盖空间感知、运动理解、规划、预测和跨视频推理等能力，全面考察模型的视频理解与决策能力。

MMSI-Video-Bench的主要功能

• 多模态能力评估：是一个专门用于评估多模态大语言模型（MLLMs）在视频空间智能方面表现的基准测试工具，能全面衡量模型对视频内容的理解和推理能力。
• 多样化数据集：包含1278个视频片段，来自25个公开数据集和140个匿名内部视频，覆盖了室内场景、室外街景、机器人操作等多种复杂场景，确保了数据的多样性和丰富性。
• 高质量标注：所有问题均由3D视觉专家设计和标注，每个问题都附有详细的解释性理由，确保了标注的准确性和高质量。
• 综合性任务设计：通过多层次任务框架，涵盖空间感知、运动理解、规划、预测和跨视频推理等能力，全面考察模型在视频空间智能方面的表现。
• 模型性能衡量：为25个开源和专有MLLMs提供了详细的评估结果，帮助研究者和开发者了解模型的强项和弱项，指导模型的改进和优化。

MMSI-Video-Bench的技术原理

• 真实场景驱动：采用真实物理世界中的动态视频数据，摆脱了模板生成的依赖，构建了一个充满不确定性和多样性的测试环境。
• 多模态融合：整合视频中的视觉、语言等多种模态信息，要求模型在时空维度上精准捕捉关键事件的发生节点与空间关联。
• 任务设计：基于感知、规划、预测和跨视频推理的四级框架，设计了涵盖跨时间、跨视角、跨物体的多维推理任务。
• 专家标注：每个问题都由3D视觉专家精心设计和审查，确保问题的精确性和无歧义性。
• 动态测试环境：通过引入真实场景中的自然行为与物理规律生成问题，迫使模型必须深入理解视频中物体之间的空间关系、运动轨迹及其背后的因果逻辑。
• 细粒度标注体系：建立了一套细粒度的标注体系，覆盖从基础空间关系到高阶因果推理的多层次认知任务。

MMSI-Video-Bench的项目地址

• 项目官网：https://rbler1234.github.io/MMSI-VIdeo-Bench.github.io/
• Github仓库：https://github.com/InternRobotics/MMSI-Video-Bench
• Huggingface模型库：https://huggingface.co/datasets/rbler/MMSI-Video-Bench
• arXiv技术论文：https://arxiv.org/pdf/2512.10863

MMSI-Video-Bench的应用场景

• 模型性能评估：用于全面评估多模态大语言模型（MLLMs）在视频理解任务中的表现，帮助研究者和开发者了解模型的强项和弱项。
• 学术研究：为学术界提供了一个标准化的测试平台，用于研究和改进多模态模型在视频空间智能方面的性能。
• 技术开发：助力开发者优化和改进多模态模型，特别是在空间感知、运动理解、规划和预测等关键能力上。
• 行业应用测试：适用于自动驾驶、机器人导航、智能监控等领域，用于测试模型在实际应用场景中的表现。
• 教育与培训：作为教学资源，帮助学生和研究人员更好地理解和实践多模态视频理解技术。
• 模型对比分析：为不同多模态模型提供统一的测试基准，便于进行横向对比和性能分析。