# VSI-Bench – 李飞飞谢赛宁团队推出的视觉空间智能基准测试集 - Link: https://paooo.com/aigc-news/24700/ - Published: 2026-07-09T03:48:29+08:00 - Author: 站外新闻 ## VSI-Bench是什么 VSI-Bench（Visual-Spatial Intelligence Benchmark）是李飞飞、谢赛宁及他们的研究团队 推出的视觉空间智能基准测试集，研究者构建用在评估多模态大型语言模型（MLLMs）在空间 认知和理解方面的能力。VSI-Bench包含超过5000个问题-答案对，覆盖近290个真实室内场景 视频，涉及住宅、办公室和工厂等多种环境。VSI-Bench任务分为配置型任务（如物体计数、 相对距离等）、测量估计（如物体尺寸、房间大小等）和时空任务（如物体出现顺序），能 系统地测试和提高MLLMs在视觉空间智能方面的表现。 阅读目录 * [VSI-Bench是什么](https://paooo.com/aigc-news/24700/#vsibench%e6%98%af%e4%bb%80%e4%b9%88) * [VSI-Bench的主要功能](https://paooo.com/aigc-news/24700/#vsibench%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [VSI-Bench的技术原理](https://paooo.com/aigc-news/24700/#vsibench%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [VSI-Bench的项目地址](https://paooo.com/aigc-news/24700/#vsibench%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [VSI-Bench的应用场景](https://paooo.com/aigc-news/24700/#vsibench%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![VSI-Bench](https://paooo.com/wp-content/uploads/2026/07/VSI-Bench-webiste-1.avif) ## VSI-Bench的主要功能 * **评估视觉空间智能**：量化评估多模态大型语言模型（MLLMs）的视觉空间智能，包括 对空间关系的感知、理解和记忆能力。 * **基准测试**：提供标准化的测试集，包含5000多个问答对，用在基准测试和比较不同MLLMs 在视觉空间任务上的性能。 * **任务多样性**：包括配置型任务（物体计数、相对距离、相对方向、路线规划）、测量 估计（物体尺寸、房间大小、绝对距离）和时空任务（物体出现顺序），全面覆盖视觉空间 智能的多个方面。 * **视频理解**：基于视频输入，VSI-Bench测试MLLMs对连续、时间性输入的理解，比静态 图像更接近人类观察世界的方式。 * **数据质量和控制**：基于人工审核确保数据质量，消除歧义和错误标注，提高测试结果 的可靠性。。 ## VSI-Bench的技术原理 * **数据集构建**：基于多个公共室内3D场景重建数据集（如ScanNet、ScanNet++和ARKitScenes）， 数据集提供高保真度的视频扫描和对象级别的3D注释。 * **问题-答案对生成**：基于数据集中的元信息（如对象类别、边界框）和问题模板自动 生成问题-答案对，同时对路线规划任务进行人工标注。 * **质量控制**：实施人工审核流程，确保问题清晰无歧义，对错误或模糊的问题进行溯源 和修正。 * **模型评估**：在零样本设置下评估多种视频支持的MLLMs，用默认提示进行测试，采用 精确匹配和模糊匹配作为主要评价指标。 * **性能指标**：对于多项选择题（MCA）任务使用准确度（ACC），对于数值答案（NA）任务 引入新的度量标准——平均相对准确度（MRA）。 * **认知图生成**：提示MLLMs预测视频中对象的中心位置，生成认知图，评估模型的内部 空间表示和记忆能力。 ## VSI-Bench的项目地址 * **项目官网**：[vision-x-nyu.github.io/thinking-in-space](https://vision-x-nyu.github.io/thinking-in-space.github.io/?utm_source=ai-bot.cn) * **GitHub仓库**：[https://github.com/vision-x-nyu/thinking-in-space](https://github.com/vision-x-nyu/thinking-in-space) * **HuggingFace模型库**：[https://huggingface.co/datasets/nyu-visionx/VSI-Bench](https://huggingface.co/datasets/nyu-visionx/VSI-Bench) * **arXiv技术论文**：[https://arxiv.org/pdf/2412.14171](https://arxiv.org/pdf/2412.14171) ## VSI-Bench的应用场景 * **机器人导航与交互**：在机器人技术领域，评估和训练MLLMs，更好地理解空间布局， 提高机器人在未知环境中的导航和避障能力。 * **增强现实（AR）/虚拟现实（VR）**：在AR/VR应用中，帮助MLLMs更好地理解用户的物理 空间环境，提供更自然的交互体验。 * **自动驾驶汽车**：自动驾驶系统需要精确的空间理解能力处理复杂的交通场景，用在开发 和测试支持自动驾驶的视觉空间智能系统。 * **智能家居系统**：智能家居系统需要理解居住空间的布局和物体的位置，VSI-Bench帮助 训练MLLMs，使其更好地服务于智能家居控制和自动化。 * **室内设计和建筑规划**：评估MLLMs在空间规划和设计中的应用，帮助系统提供更合理 的布局建议。 **🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [⚡ AIGC 早报生成器](https://paooo.com/mtool/)