Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: MMBench-Video – 上海AI Lab联合多所高校推出的长视频理解基准测试
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
MMBench-Video – 上海AI Lab联合多所高校推出的长视频理解基准测试
Prompt 语宙 > AIGC 资讯 > MMBench-Video – 上海AI Lab联合多所高校推出的长视频理解基准测试
AIGC 资讯

MMBench-Video – 上海AI Lab联合多所高校推出的长视频理解基准测试

Prompt 语宙研究院
最近更新: 2026年7月16日 下午5:48
AI视频生成 HuggingFace OpenAI YouTube 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 覆盖约600个长视频片段,专门补足传统短视频基准对时序理解的评测短板。
  • 通过16类场景与26项细粒度能力维度,系统评估LVLM的视频感知与推理能力。
  • 采用GPT-4自动化评估,提升判分效率,并尽量与人类判断保持一致。

MMBench-Video是什么

MMBench-Video是新颖的长视频多题问答基准测试,是浙江大学、上海人工智能实验室、上海交通大学和香港中文大学联合推出的。MMBench-Video能全面评估大型视觉语言模型(LVLMs)在视频理解方面的能力,用包含丰富视频内容和细粒度能力评估的长视频,弥补现有基准测试在时序理解和复杂任务处理方面的不足。MMBench-Video包含约600个YouTube视频片段,覆盖16个类别,每个视频时长从30秒到6分钟不等,配有由志愿者编写的高质量问答对。基准测试用GPT-4进行自动化评估,提高准确性,与人类判断保持一致。MMBench-Video的推出为研究人员提供了强大的工具,评估和改进视频语言模型的能力。

阅读目录
  • MMBench-Video是什么
  • MMBench-Video的主要功能
  • MMBench-Video的技术原理
  • MMBench-Video的项目地址
  • MMBench-Video的应用场景

MMBench-Video

MMBench-Video的主要功能

  • 视频理解评估:MMBench-Video用在评估大型视觉语言模型(LVLMs)在理解长视频内容方面的能力。
  • 多场景覆盖:包含16个主要类别的视频内容,涵盖广泛的主题和场景。
  • 细粒度能力评估:用26个细粒度的能力维度,对模型的视频理解能力进行详尽评估。
  • 高质量数据集:视频片段和问答对均由志愿者精心编写和标注,确保数据质量。
  • 自动化评估:用GPT-4进行自动化的评估,提高评估的效率和准确性。

MMBench-Video的技术原理

  • 长视频内容:MMBench-Video包含从YouTube采集的多个长视频片段,视频片段比传统短视频更能测试模型的时序理解能力。
  • 人工标注:问题和答案对均由人类志愿者编写和标注,确保高质量和减少偏差。
  • 能力分类体系:构建三层级的视频理解能力分类体系,包括感知和推理两大类,及更细分的26个能力维度。
  • 时序推理挑战:设计需要时序推理能力的问题,评估模型对视频内容时间维度的理解。
  • 自动化评估:语言模型(如GPT-4)自动化评估模型输出与标准答案之间的语义相似度,评估模型的性能。
  • 多模型比较:支持对多个LVLMs进行评分和比较,确定在视频理解任务上的优势和不足。

MMBench-Video的项目地址

  • 项目官网:mmbench-video.github.io
  • GitHub仓库:https://github.com/open-compass/VLMEvalKit
  • HuggingFace模型库:https://huggingface.co/datasets/opencompass/MMBench-Video
  • arXiv技术论文:https://arxiv.org/pdf/2406.14515

MMBench-Video的应用场景

  • 模型评估与比较:研究人员评估和比较不同的LVLMs在视频理解方面的能力,包括感知和推理技能。
  • 模型优化与训练:开发者根据MMBench-Video的评估结果优化模型的架构和训练过程,提高模型对视频内容的理解能力。
  • 学术交流与发表:作为学术交流的工具,帮助研究人员展示模型的性能,在学术会议或期刊上发表相关研究成果。
  • 多模态学习研究:MMBench-Video提供丰富的数据集,研究和开发多模态学习算法,特别是涉及视频和文本理解的任务。
  • 智能视频分析应用:在智能视频监控、内容过滤、自动摘要和视频推荐等领域,帮助开发者训练和测试更加精准的视频分析模型。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
YouTube ↗
YouTube的核心功能远不止一个视频托管网站,它是一个集视频发现、观看、分享与创作于一体的综合性平台。作为全球
❓ 常见问题解答(FAQ)
MMBench-Video主要评测什么能力?

MMBench-Video主要评测大型视觉语言模型(LVLMs)对长视频的理解能力,重点覆盖感知、推理和时序理解。它通过多题问答形式,检验模型是否能准确把握视频中的细节、事件顺序和复杂语义关系。

MMBench-Video和普通视频基准有什么区别?

它的核心区别在于更强调长视频与时序推理。相比常见短视频基准,MMBench-Video包含更长的视频片段、更多类别和更细粒度的能力维度,因此更能暴露模型在复杂视频理解上的短板。

MMBench-Video的评估方式可靠吗?

文中说明该基准使用GPT-4进行自动化评估,以提高效率和准确性,并尽量与人类判断保持一致。同时,问答对由志愿者编写和标注,有助于提升数据质量与评测可信度。

🔬 语宙深潜追问 · 进阶实操拆解
MMBench-Video 对评测方法有什么价值?

它把长视频拆成细粒度能力维度,能更真实暴露模型在时间顺序、事件关联和跨片段推理上的短板。相比只看单一准确率,这类基准更适合指导模型改进和产品选型。

做长视频应用时该怎么对齐这个基准?

先把业务任务映射到时序定位、事件摘要、跨镜头问答等能力,再用同类样本做离线评测。不要只追求整体分数,应该重点看模型是否能稳定抓住关键帧、转折点和因果链。

🗳️ 读者观点微投票 · 您的实战立场是?
长视频基准更该看时序理解还是问答准确?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • 上海AI Lab重磅发布MMSI-Video-Bench:评估大模型视频空间智能的终极基准
  • HourVideo – 李飞飞和吴佳俊团队推出的长视频理解基准数据集
  • VSI-Bench – 李飞飞谢赛宁团队推出的视觉空间智能基准测试集
  • UniBench – Meta推出的视觉语言模型(VLM)评估框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
1024张NPU统一编址、推理延时压至5ms!华为昇腾950超节点斩获世界互联网大会顶级科技奖:深度拆解灵衢互联、45%超高算力利用率与万亿大模型底座架构
Qwen-Audio-3.0-ASR-Flash – 阿里千问推出的语音识别大模型
Loopy – 字节跳动推出的音频驱动的AI视频生成模型
42%项目难逃母公司砍刀且估值全线归零!TechCrunch万字建立“AI坟场”追踪清单:从Character.ai破产、OpenAI超级App回退到推理成本反噬全景商业复盘
字节Seed Diffusion模型:代码生成速度飙升5.4倍,扩散语言模型技术深度解析
TAGGED:AI视频生成HuggingFaceOpenAIYouTube开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 MiniMax发布Code2.0桌面端:底层架构全面重构,原生接入金融多源数据 MiniMax发布Code2.0桌面端:底层架构全面重构,原生接入金融多源数据
下一篇 简历石沉大海?千问把写简历、做PPT、筛脏数据拆成了一套可复制的AI办公流水线 简历石沉大海?千问把写简历、做PPT、筛脏数据拆成了一套可复制的AI办公流水线
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

SigStyle – 吉大联合 Adobe 等机构推出的风格迁移框架
AIGC 资讯

SigStyle – 吉大联合 Adobe 等机构推出的风格迁移框架

Prompt 语宙研究院
Adobe AI绘画提示词 stable diffusion 大模型微调
美团开源LongCat-Flash-Lite:685亿参数MoE大模型,仅激活30亿参数实现256K超长上下文推理
AI 工具AIGC 资讯

美团开源LongCat-Flash-Lite:685亿参数MoE大模型,仅激活30亿参数实现256K超长上下文推理

Prompt 语宙研究院
AI智能体 AI编程 HuggingFace MoE架构 RAG检索增强 开源大模型 开源大语言模型 美团AI 长上下文
Jigso Sidekick
AI 工具

Jigso Sidekick

remaker
AI办公效率 AI智能体 ChatGPT OpenAI
AgentScope 1.0 全解析:阿里通义开源多Agent开发框架,三层架构助力AI应用落地
AI 工具AIGC 资讯

AgentScope 1.0 全解析:阿里通义开源多Agent开发框架,三层架构助力AI应用落地

Prompt 语宙研究院
AI应用开发 多智能体 大语言模型 开源框架 阿里通义
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.