# 字节跳动Vidi2发布：多模态视频理解与生成大模型，重新定义智能剪辑与内容创作

- Link: https://paooo.com/aigc-news/12848/
- Published: 2026-06-16T12:42:22+08:00
- Author: 站外新闻

> **💡 站外导读：**随着短视频平台的爆发式增长，内容创作者面临海量素材处理效率低、
> 创意产出慢的行业痛点。如何从数小时长视频中快速提取精华，并转化为高质量短视频，
> 成为核心挑战。字节跳动最新推出的Vidi2模型，正是瞄准这一市场，作为一款专注于视频
> 理解与创作的多模态大语言模型，它在多模态时间检索、时空定位等关键任务上达到业界
> 领先水平，标志着AIGC在视频领域进入深度应用阶段。

## Vidi2是什么

Vidi2是字节跳动推出的专注于视频理解和创作的多模态大语言模型。在多模态时间检索（TR）
方面达到了行业领先水平，在时空定位（STG）和视频问答（Video QA）方面取得了显著进展。
Vidi2能根据文本查询，不仅识别出视频中对应的时间戳，能标记出目标对象的边界框。Vidi2
引入了新的基准测试VUE-STG和VUE-TR-V2，以更好地评估STG能力。在实际应用中，Vidi2支持
如智能剪辑、智能分镜、智能字幕等功能，帮助创作者更高效地进行视频创作。

阅读目录

 * [Vidi2是什么](https://paooo.com/aigc-news/12848/#vidi2%e6%98%af%e4%bb%80%e4%b9%88)
 * [Vidi2的主要功能](https://paooo.com/aigc-news/12848/#vidi2%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Vidi2的技术原理](https://paooo.com/aigc-news/12848/#vidi2%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Vidi2的项目地址](https://paooo.com/aigc-news/12848/#vidi2%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Vidi2的应用场景](https://paooo.com/aigc-news/12848/#vidi2%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/12848/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![Vidi2](https://paooo.com/wp-content/uploads/2026/05/Vidi2-website-1-1.avif)

## Vidi2的主要功能

 * **视频理解与检索**：能处理数小时长的视频素材，根据文本查询快速定位到视频中相关
   的时间段，支持复杂场景下的长视频理解。
 * **时空定位（STG）**：不仅能识别视频中的时间戳，还能在这些时间段内标记出目标对象
   的边界框，实现精准的时空定位。
 * **视频问答（Video QA）**：支持视频问答任务，能基于视频内容回答用户的问题，提供
   更全面的多模态推理能力。
 * **智能创作工具**：支持自动剪辑、智能分镜、智能字幕等多种功能，帮助创作者将长视频
   素材快速转化为适合TikTok等平台的短视频。
 * **多视角切换与智能重构图**：支持自动多视角切换和智能、构图感知的重新框选与裁剪，
   提升视频的视觉效果。

## Vidi2的技术原理

 * **多模态融合**：Vidi2将视觉编码器（用于处理视频帧和片段）与大型语言模型相结合，
   通过指令微调和对齐，形成一体化的长视频理解与表达能力。
 * **时空定位（STG）**：Vidi2通过时空定位技术，能根据文本查询在视频中精确定位到相关
   的时间戳和目标对象的边界框。基于多模态特征提取和相似度计算，通过深度学习模型（
   如Transformer）处理视频的时空信息。
 * **视频理解与检索**：Vidi2利用多模态文本-视频检索技术，将文本和视频数据转换为向量
   表示，再通过相似度计算（如余弦相似度）实现文本到视频的检索。通过特征提取和深度
   学习技术，对视频内容进行结构化分析，实现高效的视频检索。
 * **多粒度时序建模**：Vidi2采用多粒度时序建模技术，能处理从单帧到长视频片段的不同
   时间尺度信息，结合记忆与检索机制（如滑窗+记忆token/检索增强），实现对长视频的
   高效理解和检索。
 * **跨模态对齐**：Vidi2通过跨模态对齐技术，将视频中的视觉信息、音频信息和文本信息
   进行有效对齐，从而实现更全面的视频内容理解。

## Vidi2的项目地址

 * **项目官网**：https://bytedance.github.io/vidi-website/
 * **Github仓库**：https://github.com/bytedance/vidi
 * **arXiv技术论文**：https://arxiv.org/pdf/2511.19529

## Vidi2的应用场景

 * **智能视频剪辑**：自动从长视频中提取精彩片段，生成适合短视频平台的内容，提高创作
   效率。
 * **视频问答**：基于视频内容回答用户问题，增强用户与视频内容的交互体验。
 * **时空定位辅助编辑**：通过精准定位视频中的时间和对象，辅助创作者进行复杂编辑任务，
   如多视角切换和智能重构图。
 * **自动字幕生成**：为视频自动生成字幕，提升视频的可访问性和用户体验。
 * **内容创作辅助**：帮助创作者将简单提示或主题转化为完整的视频脚本，包括标题、钩子
   和分镜。

#### 📝 站长洞察 (Editor’s Insight)

Vidi2的发布，标志着字节跳动在AIGC视频赛道落下关键一子。它不仅仅是一个模型，更是对‘
AI原生工作流’的一次重要探索。其技术亮点在于将多模态融合与时序建模做到了极致，特别
是‘多粒度时序建模’和‘跨模态对齐’，这解决了长视频理解中‘记得住、找得准’的核心难题。
从行业趋势看，大模型的竞争正从‘生成’单一维度，转向‘理解+生成+编辑’的全链路能力比拼。
Vidi2的智能剪辑、分镜重构功能，直接切入专业视频后期流程，预示着AI将深度嵌入内容生产
流水线，成为‘超级剪辑助手’。这不仅是技术突破，更是商业模式的创新——将AI能力封装为
提升平台创作者效率的基础设施。未来，谁能率先将这类模型与自家内容生态（如TikTok）
无缝结合，谁就将在下一轮内容竞争中掌握定义权。