GPDiT是什么
GPDiT(Generative Pre-trained Autoregressive Diffusion Transformer)是北京大学、清华大学、StepFun公司及中国科学技术大学推出的新型视频生成模型,模型结合扩散模型和自回归模型的优势,基于自回归方式预测未来的潜在帧,自然地建模运动动态和语义一致性。GPDiT引入轻量级因果注意力机制,减少计算成本,推出一种无参数的旋转基时间条件策略,有效编码时间信息。GPDiT在视频生成、视频表示和少样本学习任务中均表现出色,展示了在多种视频建模任务中的多功能性和适应性。

GPDiT的主要功能
- 高质量视频生成:生成具有高时间一致性和运动连贯性的长序列视频。
- 视频表示学习:基于自回归建模和扩散过程,学习视频的语义和动态表示,用在下游任务。
- 少样本学习:够快速适应多种视频处理任务,如风格转换、边缘检测等。
- 多任务学习:支持多种视频处理任务,如灰度转换、深度估计、人物检测等。
GPDiT的技术原理
- 自回归扩散框架:基于自回归方式预测未来的潜在帧,自然地建模运动动态和语义一致性。
- 轻量级因果注意力:引入种轻量级因果注意力机制,消除训练期间干净帧之间的注意力计算,减少计算成本,不降低生成性能。
- 旋转基时间条件机制:推出一种无参数的旋转基时间条件策略,将噪声注入过程重新解释为数据和噪声分量定义的复平面上的旋转,去除adaLN-Zero及相关参数,有效编码时间信息。
- 连续潜在空间:在连续潜在空间中进行建模,增强了生成质量和表示能力。
GPDiT的项目地址
- arXiv技术论文:https://arxiv.org/pdf/2505.07344
GPDiT的应用场景
- 视频创作:生成高质量视频,用在广告、影视、动画等。
- 视频编辑:实现风格转换、色彩调整、分辨率提升等。
- 少样本学习:快速适应人物检测、边缘检测等任务。
- 内容理解:自动标注、分类和检索视频内容。
- 创意生成:激发艺术家和设计师的创意,生成艺术风格视频。
❓ 常见问题解答(FAQ)
GPDiT是什么视频生成模型?
GPDiT是北京大学、清华大学、StepFun公司及中国科学技术大学推出的视频生成模型,全称为 Generative Pre-trained Autoregressive Diffusion Transformer。它结合自回归与扩散建模,重点提升视频的运动动态、语义一致性和生成质量。
GPDiT相比传统视频模型有什么优势?
GPDiT的核心优势在于把自回归预测未来潜在帧与扩散过程结合起来,并引入轻量级因果注意力和无参数时间条件机制,从而在降低计算成本的同时,保持较好的长视频生成效果与表示能力。
GPDiT可以用于哪些实际任务?
GPDiT可用于高质量视频生成、视频表示学习、少样本学习和多任务视频处理,例如风格转换、边缘检测、灰度转换、深度估计、人物检测,以及内容理解、自动标注和检索等场景。
🔬 语宙深潜追问 · 进阶实操拆解
GPDiT 的混合架构强在哪?
它把扩散的画面质量和自回归的时序建模结合起来,既能保住细节,又更擅长处理动作连续性和语义一致性。对视频任务来说,这种组合通常比单一路线更容易兼顾稳定性与可控性。
视频模型落地最难的瓶颈是什么?
真正难点不只是生成清晰,而是长时序一致、角色不漂移和可控编辑。落地时要重点看数据覆盖、运动建模、推理成本和后处理链路,否则很容易出现“单帧好看、整段失真”的问题。
🗳️ 读者观点微投票 · 您的实战立场是?
视频生成该押扩散还是自回归?
