Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: VideoChat-Flash – 上海 AI Lab 等机构推出针对长视频建模的多模态大模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
VideoChat-Flash – 上海 AI Lab 等机构推出针对长视频建模的多模态大模型
Prompt 语宙 > AIGC 资讯 > VideoChat-Flash – 上海 AI Lab 等机构推出针对长视频建模的多模态大模型
AIGC 资讯

VideoChat-Flash – 上海 AI Lab 等机构推出针对长视频建模的多模态大模型

Prompt 语宙研究院
最近更新: 2026年6月9日 下午1:19
AI视频生成 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • HiCo 分层压缩让模型高效处理超长视频,显著降低计算量并保留关键信息。
  • 在 NIAH 任务中,开源模型首次达到 10,000 帧、约 3 小时视频 99.1% 准确率。
  • 结合 LongVid 长视频数据集与多阶段训练,VideoChat-Flash 在多项基准中表现突出。

VideoChat-Flash是什么

VideoChat-Flash 是上海人工智能实验室和南京大学等机构联合开发的针对长视频建模的多模态大语言模型(MLLM),模型通过分层压缩技术(HiCo)高效处理长视频,显著减少计算量,同时保留关键信息。采用多阶段从短到长的学习方案,结合真实世界长视频数据集 LongVid,进一步提升对长视频的理解能力。

阅读目录
  • VideoChat-Flash是什么
  • VideoChat-Flash的主要功能
  • VideoChat-Flash的技术原理
  • VideoChat-Flash的项目地址
  • VideoChat-Flash的应用场景

VideoChat-Flash

VideoChat-Flash的主要功能

  • 长视频理解能力:VideoChat-Flash 通过分层压缩技术(HiCo)有效处理长视频,能处理长达数小时的视频内容。在“针在干草堆中”(NIAH)任务中,首次在开源模型中实现了 10,000 帧(约 3 小时视频)的 99.1% 准确率。
  • 高效模型架构:模型通过将每个视频帧编码为仅 16 个 token,显著降低了计算量,推理速度比前代模型快 5-10 倍。多阶段从短到长的学习方案,结合真实世界的长视频数据集 LongVid,进一步提升了模型的性能。
  • 强大的视频理解能力:VideoChat-Flash 在多个长视频和短视频基准测试中均表现出色,超越了其他开源 MLLM 模型,甚至在某些任务中超过了规模更大的模型。
  • 多跳上下文理解:VideoChat-Flash 支持多跳 NIAH 任务,能追踪长视频中的多个关联图像序列,进一步提升了对复杂上下文的理解能力。

VideoChat-Flash的技术原理

  • 分层压缩技术(HiCo):HiCo 是 VideoChat-Flash 的核心创新之一,旨在高效处理长视频中的冗余视觉信息。
    • 片段级压缩:将长视频分割为较短的片段,对每个片段进行独立编码。
    • 视频级压缩:在片段编码的基础上,进一步压缩整个视频的上下文信息,减少需要处理的标记数量。
    • 语义关联优化:结合用户查询的语义信息,进一步减少不必要的视频标记,从而降低计算量。
  • 多阶段学习方案:VideoChat-Flash 采用从短视频到长视频的多阶段学习方案,逐步提升模型对长上下文的理解能力。
    • 初始阶段:使用短视频及其注释进行监督微调,建立模型的基础理解能力。
    • 扩展阶段:逐步引入长视频数据,训练模型处理更复杂的上下文。
    • 混合语料训练:最终在包含短视频和长视频的混合语料上进行训练,以实现对不同长度视频的全面理解。
  • 真实世界长视频数据集 LongVid:为了支持模型训练,研究团队构建了 LongVid 数据集,包含 30 万小时的真实世界长视频和 2 亿字的注释。该数据集为模型提供了丰富的训练素材,使其能够更好地适应长视频理解任务。
  • 模型架构:VideoChat-Flash 的架构包括三个主要部分:视觉编码器、视觉-语言连接器和大语言模型(LLM)。通过这种分层架构,模型能高效地将视频内容编码为紧凑的标记序列,通过 LLM 进行长上下文建模。

VideoChat-Flash的项目地址

  • GitHub仓库:https://github.com/OpenGVLab/VideoChat-Flash
  • arXiv技术论文:https://arxiv.org/pdf/2501.00574

VideoChat-Flash的应用场景

  • 视频字幕生成与翻译:模型能生成详细且准确的视频字幕,适用于多语言翻译和无障碍字幕生成,帮助观众更好地理解视频内容。
  • 视频问答与交互:VideoChat-Flash 支持基于视频内容的自然语言问答,用户可以通过提问获取视频中的关键信息,例如电影剧情解析、纪录片中的知识点等。
  • 具身AI与机器人学习:在具身AI领域,VideoChat-Flash 可以通过长时间的自我视角视频帮助机器人学习复杂的任务,例如制作咖啡等,通过分析视频中的关键事件来指导机器人完成任务。
  • 体育视频分析与集锦生成:模型能分析体育比赛视频,提取关键事件并生成集锦,帮助观众快速了解比赛的精彩瞬间。
  • 监控视频分析:VideoChat-Flash 可以处理长时间的监控视频,识别和追踪关键事件,提高监控系统的效率和准确性。
❓ 常见问题解答(FAQ)
VideoChat-Flash 适合做什么?

它主要用于长视频理解与交互,包括视频问答、字幕生成、长视频内容分析、体育集锦生成、监控视频事件识别,以及具身 AI 场景中的长时序学习辅助。

VideoChat-Flash 为什么能处理长视频?

核心在于 HiCo 分层压缩:先做片段级编码,再做视频级压缩,并结合查询语义进一步减少无关 token,因此能在降低计算量的同时保留关键视频信息。

VideoChat-Flash 的实测表现如何?

文中给出的结果显示,它在 NIAH 任务中首次实现开源模型 10,000 帧约 3 小时视频 99.1% 准确率,推理速度比前代模型快 5-10 倍,并在多项基准上表现优异。

🔬 语宙深潜追问 · 进阶实操拆解
16个token一帧为什么还能看懂长视频?

因为压缩的不只是像素,而是保留了对任务最有用的时空摘要。通过分层压缩和阶段训练,模型先学会抓关键事件,再在低token表示上做推理,从而把长上下文成本压下来。

长视频问答落地时怎么做检索增强?

先按时间切片建立索引,再把关键片段、字幕和视觉摘要一起召回。推理时让模型先定位事件区间,再做细粒度回答,这样比直接把整段视频硬塞进上下文更稳,也更省算力。

🗳️ 读者观点微投票 · 您的实战立场是?
长视频大模型先压缩帧还是先提语义?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • InternVideo2.5 – 上海 AI Lab 联合南大、中科院开源的视频多模态大模型
  • Video-XL – 智源联合多所高校推出的开源超长视觉理解模型
  • LongVU – Meta AI开源的长视频理解模型
  • CogVideoX – 智谱AI推出的开源AI视频生成模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
微软开源VibeVoice-ASR:60分钟长音频一键转录,说话者分离+热词自定义,会议记录神器
Art Review Generator
Runlayer 起诉 HR 巨头 Rippling:指控其利用试用期盗用代码,1:1克隆 AI 网关
Grok Build 0.2.7 重磅发布:子代理共享终端效率翻倍,图像理解飞跃,开发者必看更新
MiroFlow v0.2深度评测:将任意LLM升级为OpenAI级研究智能体的开源框架,GAIA等基准测试登顶
TAGGED:AI视频生成大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 日日新融合大模型 – 商汤科技推出的原生融合模态大模型 日日新融合大模型 – 商汤科技推出的原生融合模态大模型
下一篇 PsycoLLM – 合肥工业大学推出的中文心理大语言模型 PsycoLLM – 合肥工业大学推出的中文心理大语言模型
Ad image
Ad image

最近更新

Rest of World 调查揭示 AI 大模型数据产业链现状:高学历专家与全球劳动力正在被平台纳入按件计费的零工模式
美国心脏科医生时薪180美元、东南亚仅7.5美元?揭秘大模型“专家零工化”暗面:Scale AI与Mercor的算力人力套利
AIGC 资讯
Forrester 发布“信任与保障组织(TAO)”研究报告概念图:AI 重塑企业安全团队架构与 CISO 治理权责边界
37%企业AI项目未投产先折戟!Forrester呼吁CISO重构安全架构:打造TAO“信任与保障组织”,弥合权责与能力双缺口
最新趋势
Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具

相关推荐

OpenAI开源推理模型gpt-oss:MoE架构、单卡可跑,性能叫板闭源巨头
AI 工具AIGC 资讯

OpenAI开源推理模型gpt-oss:MoE架构、单卡可跑,性能叫板闭源巨头

Prompt 语宙研究院
GPT-OSS MoE架构 OpenAI 开源模型 推理模型
神珍科学多模态基础模型在沪亮相: 110 亿参数打通六类科学数据,一个模型读懂DNA到气象场
AIGC 资讯

神珍科学多模态基础模型在沪亮相: 110 亿参数打通六类科学数据,一个模型读懂DNA到气象场

Prompt 语宙研究院
3D与空间智能 AI智能体 开源大模型
WorldPM – 阿里Qwen团队联合复旦推出的偏好建模模型系列
AIGC 资讯

WorldPM – 阿里Qwen团队联合复旦推出的偏好建模模型系列

Prompt 语宙研究院
AI智能体 HuggingFace 大模型微调 开源大模型 通义千问
Fixblurry.photos AI照片修复
AI 工具

Fixblurry.photos AI照片修复

remaker
AI办公效率 AI绘画提示词 stable diffusion 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.