# HourVideo – 李飞飞和吴佳俊团队推出的长视频理解基准数据集

- Link: https://paooo.com/aigc-news/25736/
- Published: 2026-07-16T01:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于500个第一人称长视频，HourVideo专门检验模型对20至120分钟连续视觉信息的理解
   能力。
 * 数据集覆盖总结、感知、视觉推理和导航等任务，可全面比较多模态模型的长视频表现。
 * 通过12,976道高质量多选题与多阶段生成流程，HourVideo提升了长视频评测的标准化与
   可靠性。

## HourVideo是什么

HourVideo是斯坦福大学李飞飞和吴佳俊团队推出的长视频理解基准数据集，包含500个第一人称
视角视频，时长20至120分钟，覆盖77种日常活动，能评估多模态模型对长视频的理解能力。
数据集基于一系列任务，如总结、感知、视觉推理和导航，测试模型对视频中多个时间片段
信息的识别和综合能力，推动长视频理解技术的发展。

阅读目录

 * [HourVideo是什么](https://paooo.com/aigc-news/25736/#hourvideo%e6%98%af%e4%bb%80%e4%b9%88)
 * [HourVideo的主要功能](https://paooo.com/aigc-news/25736/#hourvideo%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [HourVideo的技术原理](https://paooo.com/aigc-news/25736/#hourvideo%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [HourVideo的项目地址](https://paooo.com/aigc-news/25736/#hourvideo%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [HourVideo的应用场景](https://paooo.com/aigc-news/25736/#hourvideo%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![HourVideo](https://paooo.com/wp-content/uploads/2026/07/HourVideo-website-1.avif)

## HourVideo的主要功能

 * **长视频理解评估**：基于包含长达一小时的视频，HourVideo能测试模型对长时间视觉
   数据流的理解能力。
 * **多任务测试套件**：数据集包含多种任务，如总结、感知、视觉推理和导航，全面评估
   模型在不同视频语言理解方面的表现。
 * **高质量问题生成**：基于人工注释者和大型语言模型（LLMs）生成的12,976个多项选择
   题，提供标准化的测试题目。
 * **模型性能比较**：与其他多模态模型的比较，评估不同模型在长视频理解任务上的性能。

## HourVideo的技术原理

 * **视频数据集构建**：HourVideo从Ego4D数据集中筛选出500个第一人称视角视频，覆盖
   日常活动，视频时长从20到120分钟不等。
 * **任务套件设计**：设计一套包含多个子任务的任务套件，每个任务需要模型对视频内容
   进行长期依赖关系的理解和推理。
 * **问题原型开发**：为每个任务设计问题原型，确保正确回答问题需要对视频的多个时间
   片段进行信息识别和综合。
 * **数据生成流程**：基于一个多阶段的数据生成流程，包括视频筛选、问题生成、人工反馈
   优化、盲筛选和专家优化，生成高质量的多项选择题。

## HourVideo的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2411.04998v1](https://arxiv.org/pdf/2411.04998v1)

## HourVideo的应用场景

 * **多模态人工智能研究**：研究和开发理解长时间连续视频内容的多模态模型。
 * **自主代理和助手系统**：帮助开发理解长时间视觉信息并做出决策的自主代理和虚拟助手。
 * **增强现实（AR）和虚拟现实（VR）**：提供技术基础，创建能理解和适应用户行为的沉浸
   式AR/VR体验。
 * **视频内容分析**：分析和理解视频内容，如监控视频、新闻报道、教育视频等，提取关键
   信息和洞察。
 * **机器人视觉**：让机器人能理解长时间序列的视觉信息，提高其在复杂环境中的导航和
   操作能力。

❓ 常见问题解答（FAQ）

HourVideo数据集主要评测什么能力？

HourVideo主要评测多模态模型对长视频的理解能力，重点包括总结、感知、视觉推理和导航
等任务，考察模型能否整合多个时间片段的信息并做出正确判断。

HourVideo和普通视频数据集有什么不同？

它专门面向长视频场景，视频时长从20到120分钟不等，且采用第一人称视角与多任务评测设计，
更能检验模型对长时间依赖关系和跨片段信息整合的能力。

HourVideo适合哪些应用场景？

适合多模态研究、自主代理与助手系统、AR/VR、视频内容分析和机器人视觉等方向，尤其适合
需要理解长时间连续视觉信息并进行推理决策的任务。

🔬 语宙深潜追问 · 进阶实操拆解

20分钟以上视频怎么做有效检索？

先按时间切片做粗粒度索引，再用事件、人物和地点建立二级检索。回答问题时先召回相关
片段，再做跨片段推理，避免把整段视频硬塞进上下文导致噪声过大。

第一人称视频最难的点是什么？

最难的是视角抖动、遮挡和动作连续性。实战里要结合时间定位、轨迹线索和动作状态建模，
并把“看见什么”和“发生了什么”分开评估，才能减少幻觉式总结。

🗳️ 读者观点微投票 · 您的实战立场是？

长视频理解，先拼上下文还是先做任务拆解？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🤖 所属权威专题：AI Agent 智能体工作流 →](https://paooo.com/topics/ai-agents/)

 * [MMBench-Video – 上海AI Lab联合多所高校推出的长视频理解基准测试](https://paooo.com/aigc-news/25832/)
 * [InternVideo2.5 – 上海 AI Lab 联合南大、中科院开源的视频多模态大模型](https://paooo.com/aigc-news/22077/)
 * [上海AI Lab重磅发布MMSI-Video-Bench：评估大模型视频空间智能的终极基准](https://paooo.com/aigc-news/12636/)
 * [VideoChat-Flash – 上海 AI Lab 等机构推出针对长视频建模的多模态大模型](https://paooo.com/aigc-news/22620/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25736/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)