# VideoChat-Flash – 上海 AI Lab 等机构推出针对长视频建模的多模态大模型

- Link: https://paooo.com/aigc-news/22620/
- Published: 2026-06-09T13:19:14+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * HiCo 分层压缩让模型高效处理超长视频，显著降低计算量并保留关键信息。
 * 在 NIAH 任务中，开源模型首次达到 10,000 帧、约 3 小时视频 99.1% 准确率。
 * 结合 LongVid 长视频数据集与多阶段训练，VideoChat-Flash 在多项基准中表现突出。

## VideoChat-Flash是什么

VideoChat-Flash 是上海人工智能实验室和南京大学等机构联合开发的针对长视频建模的多
模态大语言模型（MLLM），模型通过分层压缩技术（HiCo）高效处理长视频，显著减少计算
量，同时保留关键信息。采用多阶段从短到长的学习方案，结合真实世界长视频数据集 LongVid，
进一步提升对长视频的理解能力。

阅读目录

 * [VideoChat-Flash是什么](https://paooo.com/aigc-news/22620/#videochatflash%e6%98%af%e4%bb%80%e4%b9%88)
 * [VideoChat-Flash的主要功能](https://paooo.com/aigc-news/22620/#videochatflash%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VideoChat-Flash的技术原理](https://paooo.com/aigc-news/22620/#videochatflash%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [VideoChat-Flash的项目地址](https://paooo.com/aigc-news/22620/#videochatflash%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VideoChat-Flash的应用场景](https://paooo.com/aigc-news/22620/#videochatflash%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![VideoChat-Flash](https://paooo.com/wp-content/uploads/2026/06/VideoChat-Flash-
website-1.avif)

## VideoChat-Flash的主要功能

 * **长视频理解能力**：VideoChat-Flash 通过分层压缩技术（HiCo）有效处理长视频，能
   处理长达数小时的视频内容。在“针在干草堆中”（NIAH）任务中，首次在开源模型中实现
   了 10,000 帧（约 3 小时视频）的 99.1% 准确率。
 * **高效模型架构**：模型通过将每个视频帧编码为仅 16 个 token，显著降低了计算量，
   推理速度比前代模型快 5-10 倍。多阶段从短到长的学习方案，结合真实世界的长视频数据
   集 LongVid，进一步提升了模型的性能。
 * **强大的视频理解能力**：VideoChat-Flash 在多个长视频和短视频基准测试中均表现出色，
   超越了其他开源 MLLM 模型，甚至在某些任务中超过了规模更大的模型。
 * **多跳上下文理解**：VideoChat-Flash 支持多跳 NIAH 任务，能追踪长视频中的多个关联
   图像序列，进一步提升了对复杂上下文的理解能力。

## VideoChat-Flash的技术原理

 * **分层压缩技术（HiCo）**：HiCo 是 VideoChat-Flash 的核心创新之一，旨在高效处理
   长视频中的冗余视觉信息。
    - **片段级压缩**：将长视频分割为较短的片段，对每个片段进行独立编码。
    - **视频级压缩**：在片段编码的基础上，进一步压缩整个视频的上下文信息，减少需要
      处理的标记数量。
    - **语义关联优化**：结合用户查询的语义信息，进一步减少不必要的视频标记，从而
      降低计算量。
 * **多阶段学习方案**：VideoChat-Flash 采用从短视频到长视频的多阶段学习方案，逐步
   提升模型对长上下文的理解能力。
    - **初始阶段**：使用短视频及其注释进行监督微调，建立模型的基础理解能力。
    - **扩展阶段**：逐步引入长视频数据，训练模型处理更复杂的上下文。
    - **混合语料训练**：最终在包含短视频和长视频的混合语料上进行训练，以实现对不同
      长度视频的全面理解。
 * **真实世界长视频数据集 LongVid**：为了支持模型训练，研究团队构建了 LongVid 数据
   集，包含 30 万小时的真实世界长视频和 2 亿字的注释。该数据集为模型提供了丰富的
   训练素材，使其能够更好地适应长视频理解任务。
 * **模型架构**：VideoChat-Flash 的架构包括三个主要部分：视觉编码器、视觉-语言连接
   器和大语言模型（LLM）。通过这种分层架构，模型能高效地将视频内容编码为紧凑的标记
   序列，通过 LLM 进行长上下文建模。

## VideoChat-Flash的项目地址

 * **GitHub仓库**：[https://github.com/OpenGVLab/VideoChat-Flash](https://github.com/OpenGVLab/VideoChat-Flash)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.00574](https://arxiv.org/pdf/2501.00574)

## VideoChat-Flash的应用场景

 * **视频字幕生成与翻译**：模型能生成详细且准确的视频字幕，适用于多语言翻译和无障碍
   字幕生成，帮助观众更好地理解视频内容。
 * **视频问答与交互**：VideoChat-Flash 支持基于视频内容的自然语言问答，用户可以通过
   提问获取视频中的关键信息，例如电影剧情解析、纪录片中的知识点等。
 * **具身AI与机器人学习**：在具身AI领域，VideoChat-Flash 可以通过长时间的自我视角
   视频帮助机器人学习复杂的任务，例如制作咖啡等，通过分析视频中的关键事件来指导机器
   人完成任务。
 * **体育视频分析与集锦生成**：模型能分析体育比赛视频，提取关键事件并生成集锦，帮助
   观众快速了解比赛的精彩瞬间。
 * **监控视频分析**：VideoChat-Flash 可以处理长时间的监控视频，识别和追踪关键事件，
   提高监控系统的效率和准确性。

❓ 常见问题解答（FAQ）

VideoChat-Flash 适合做什么？

它主要用于长视频理解与交互，包括视频问答、字幕生成、长视频内容分析、体育集锦生成、
监控视频事件识别，以及具身 AI 场景中的长时序学习辅助。

VideoChat-Flash 为什么能处理长视频？

核心在于 HiCo 分层压缩：先做片段级编码，再做视频级压缩，并结合查询语义进一步减少
无关 token，因此能在降低计算量的同时保留关键视频信息。

VideoChat-Flash 的实测表现如何？

文中给出的结果显示，它在 NIAH 任务中首次实现开源模型 10,000 帧约 3 小时视频 99.1%
准确率，推理速度比前代模型快 5-10 倍，并在多项基准上表现优异。

🔬 语宙深潜追问 · 进阶实操拆解

16个token一帧为什么还能看懂长视频？

因为压缩的不只是像素，而是保留了对任务最有用的时空摘要。通过分层压缩和阶段训练，
模型先学会抓关键事件，再在低token表示上做推理，从而把长上下文成本压下来。

长视频问答落地时怎么做检索增强？

先按时间切片建立索引，再把关键片段、字幕和视觉摘要一起召回。推理时让模型先定位事件
区间，再做细粒度回答，这样比直接把整段视频硬塞进上下文更稳，也更省算力。

🗳️ 读者观点微投票 · 您的实战立场是？

长视频[大模型](https://paooo.com/ai-study/)先压缩帧还是先提语义？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [InternVideo2.5 – 上海 AI Lab 联合南大、中科院开源的视频多模态大模型](https://paooo.com/aigc-news/22077/)
 * [Video-XL – 智源联合多所高校推出的开源超长视觉理解模型](https://paooo.com/aigc-news/26008/)
 * [LongVU – Meta AI开源的长视频理解模型](https://paooo.com/aigc-news/26017/)
 * [CogVideoX – 智谱AI推出的开源AI视频生成模型](https://paooo.com/aigc-news/27664/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22620/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
