# DiTCtrl – 港中文联合腾讯等机构推出的多提示视频生成方法

- Link: https://paooo.com/aigc-news/24553/
- Published: 2026-07-08T07:48:29+08:00
- Author: 站外新闻

## DiTCtrl是什么

DiTCtrl是基于多模态扩散变换器（MM-DiT）架构的多提示[视频生成](https://ai-bot.cn/ai-video-generation-tools/)
方法，是香港中文大学和腾讯等机构联合推出的。DiTCtrl能在无需额外训练的情况下，实现
多个文本提示之间的连贯视频生成，并保持内容和运动的一致性。基于分析MM-DiT的注意力
机制，DiTCtrl采用KV共享和潜在混合策略，实现不同提示间的平滑过渡，提升视频生成的连贯性
和自然度。在新基准MPVBench上，DiTCtrl在保持计算效率的同时，取得最先进的性能，标志
着多提示视频生成技术的重要进展。

阅读目录

 * [DiTCtrl是什么](https://paooo.com/aigc-news/24553/#ditctrl%e6%98%af%e4%bb%80%e4%b9%88)
 * [DiTCtrl的主要功能](https://paooo.com/aigc-news/24553/#ditctrl%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DiTCtrl的技术原理](https://paooo.com/aigc-news/24553/#ditctrl%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DiTCtrl的项目地址](https://paooo.com/aigc-news/24553/#ditctrl%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DiTCtrl的应用场景](https://paooo.com/aigc-news/24553/#ditctrl%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DiTCtrl](https://paooo.com/wp-content/uploads/2026/07/DiTCtrl-website-1.avif)

## DiTCtrl的主要功能

 * **多提示视频生成**：DiTCtrl能处理多个文本提示，生成连贯的视频内容，对于反映现实
   世界中动态、多动作场景尤为重要。
 * **无需额外训练**：与传统视频生成模型不同，DiTCtrl无需额外的训练数据或计算资源
   即可生成视频，实现零样本（zero-shot）的多提示视频生成。
 * **平滑过渡**：DiTCtrl能在不同提示的视频片段之间实现平滑过渡，保持视频内容的连贯性
   和视觉一致性。
 * **精确语义控制**：分析和基于MM-DiT的注意力机制，精确控制视频内容，确保生成的视频
   与文本提示紧密对应。

## DiTCtrl的技术原理

 * **MM-DiT架构**：基于多模态扩散变换器（MM-DiT）架构，将文本和视频映射到统一序列
   进行注意力计算，有效处理多模态数据。
 * **注意力机制分析**：首次分析MM-DiT的3D全注意力机制，发现其与UNet类扩散模型中的
   交叉/自注意力模块相似，为精确的语义控制提供基础。
 * **KV共享机制**：采用键值（KV）共享机制，支持在不同提示的视频片段之间共享注意力
   信息，保持关键对象的语义一致性。
 * **潜在混合策略**：为实现视频片段间的平滑过渡，DiTCtrl用潜在混合策略，基于在相邻
   视频片段的重叠区域应用位置依赖的权重函数，实现不同语义片段间的平滑过渡。
 * **掩码引导的注意力融合**：提取特定对象的注意力掩码，并用掩码引导注意力融合，生成
   新提示的注意力特征，实现不同提示间的一致性。
 * **MPVBench基准**：为评估多提示视频生成的性能，引入MPVBench基准，包含多种过渡类型
   和专门的评估指标。

## DiTCtrl的项目地址

 * **项目官网**：[onevfall.github.io/project_page/ditctrl](https://onevfall.github.io/project_page/ditctrl/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/TencentARC/DiTCtrl](https://github.com/TencentARC/DiTCtrl)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.18597](https://arxiv.org/pdf/2412.18597)

## DiTCtrl的应用场景

 * **电影和视频制作**：用于生成电影预告片、特效场景或动画视频，减少实际拍摄成本和
   时间。
 * **游戏开发**：在游戏制作中，生成动态背景视频或游戏剧情动画，提高游戏的沉浸感和
   故事性。
 * **广告行业**：根据广告文案快速生成吸引人的视频内容，提高广告的创意和吸引力。
 * **社交媒体内容创作**：用户生成个性化的视频内容，用在社交媒体平台，如抖音、Instagram
   等。
 * **新闻和报道**：制作新闻报道中的动态图表或事件重演，让信息传递更加直观和生动。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)