# HumanDiT – 浙大联合字节推出的姿态引导人体视频生成框架

- Link: https://paooo.com/aigc-news/22072/
- Published: 2026-06-08T17:59:51+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于扩散变换器与 Keypoint-DiT，HumanDiT 能先生成后续姿态，再驱动人体视频生成，
   动作更连贯自然。
 * 前缀潜在参考策略让长序列生成中仍能保留人物个性特征，兼顾一致性与高保真细节。
 * 支持从单图或现有视频继续生成，适用于虚拟人、动画制作、沉浸式体验和视频续写。

## HumanDiT是什么

HumanDiT 是浙江大学和字节跳动联合提出的姿态引导的高保真人体[视频生成](https://ai-bot.cn/ai-video-generation-tools/)
框架。基于扩散变换器（Diffusion Transformer，DiT），能在大规模数据集上训练，生成
具有精细身体渲染的长序列人体运动视频。HumanDiT 的核心优势在于姿态引导机制，通过关键
点扩散变换器（Keypoint-DiT）生成后续姿态序列，保证视频中人体动作的连贯性和自然性。
引入了前缀潜在参考策略，在长序列中保持个性化特征。 HumanDiT 支持多种视频分辨率和
可变序列长度，适合长序列视频生成。基于姿态适配器实现给定序列的姿态转移，进一步提升
了姿态对齐的准确性。

阅读目录

 * [HumanDiT是什么](https://paooo.com/aigc-news/22072/#humandit%e6%98%af%e4%bb%80%e4%b9%88)
 * [HumanDiT的主要功能](https://paooo.com/aigc-news/22072/#humandit%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [HumanDiT的技术原理](https://paooo.com/aigc-news/22072/#humandit%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [HumanDiT的项目地址](https://paooo.com/aigc-news/22072/#humandit%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [HumanDiT的应用场景](https://paooo.com/aigc-news/22072/#humandit%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![HumanDiT](https://paooo.com/wp-content/uploads/2026/06/HumanDiT-website-1.avif)

## HumanDiT的主要功能

 * **姿态引导的视频生成**：HumanDiT 基于关键点扩散变换器（Keypoint-DiT）生成后续
   姿态序列，确保视频中人体动作的连贯性和自然性。
 * **长序列视频生成**：支持多种视频分辨率和可变序列长度，适合生成长序列的高质量视频。
 * **个性化特征保持**：通过前缀潜在参考策略，在长序列中保持个性化特征。
 * **灵活的输入与输出**：能从静态图像或现有视频中继续生成视频，适用于多种应用场景。
 * **姿态适配与细化**：基于姿态适配器实现给定序列的姿态转移，通过姿态细化模块增强
   面部和手部特征与参考图像的对齐效果。

## HumanDiT的技术原理

 * **姿态引导与扩散变换器**：HumanDiT 通过姿态引导的方式生成视频，基于关键点扩散
   变换器（Keypoint-DiT）在推理阶段生成后续的姿态序列。确保了视频中人体动作的连贯性
   和自然性，同时扩散变换器能够处理不同分辨率和序列长度的视频。
 * **前缀潜在参考策略**：为了在长序列视频生成中保持个性化特征，HumanDiT 引入了前
   缀潜在参考策略。策略通过将视频的第一帧作为无噪声的前缀潜在向量，供模型在生成过程
   中参考，保持视觉一致性。
 * **姿态适配器与姿态细化模块**：HumanDiT 使用姿态适配器来实现给定序列的姿态转移，
   通过姿态细化模块进一步优化生成的姿态序列。有助于提高面部和手部等细节部位的生成
   质量，确保与参考图像的对齐效果。
 * **大规模数据集训练**：HumanDiT 在包含 14000 小时高质量视频的大型数据集上进行训练，
   数据通过结构化的数据处理流程收集，涵盖了多种人类动作场景。使模型能学习到丰富的
   运动先验，在推理过程中表现出强大的泛化能力。

## HumanDiT的项目地址

 * **项目官网**：[https://agnjason.github.io/HumanDiT-page/](https://agnjason.github.io/HumanDiT-page/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.04847](https://arxiv.org/pdf/2502.04847)

## HumanDiT的应用场景

 * **虚拟人**：HumanDiT 可以用于生成虚拟人的动态视频，动作更加自然流畅。在虚拟客
   服场景中，虚拟人可以根据用户的提问实时生成相应的动作和表情，提供更加生动、逼真
   的交互体验。
 * **动画电影**：HumanDiT 能生成高质量、长序列的人体运动视频，可以用于生成动画角色
   的动作序列，帮助动画师快速生成高质量的动作片段，提高制作效率。
 * **沉浸式体验**：HumanDiT 可以用于构建沉浸式体验中的虚拟角色和动作。在沉浸式 VR
   体验中，HumanDiT 可以生成与场景匹配的人物动作和表情，让参与者感受到更加真实和
   生动的体验。
 * **视频生成与续写**：可以从单张图像生成视频，或者从现有视频中继续生成后续内容。

❓ 常见问题解答（FAQ）

HumanDiT 适合做什么类型的视频生成？

HumanDiT 主要面向姿态引导的人体视频生成，适合虚拟人动态视频、动画角色动作序列、沉浸
式 VR 角色表现，以及从单张图像或现有视频继续生成后续内容。

HumanDiT 为什么适合长序列人体视频？

它基于扩散变换器并支持可变序列长度，同时通过 Keypoint-DiT 生成后续姿态序列，配合
前缀潜在参考策略保持视觉一致性，因此更适合长序列生成。

HumanDiT 如何提升手部和面部细节？

HumanDiT 通过姿态适配器实现姿态转移，并结合姿态细化模块优化生成结果，可进一步增强
面部和手部等细节部位与参考图像的对齐效果。

🔬 语宙深潜追问 · 进阶实操拆解

HumanDiT如何做长视频不崩？

核心是把参考信息前置并持续注入，让模型在长序列里始终记住主体特征。实际使用时要控制
动作跨度、分段生成并做跨段一致性校正，否则越往后越容易出现脸部漂移、肢体错位和细节
丢失。

虚拟人场景最该优先优化什么？

先优化口型、头部运动和上半身姿态，因为这些最影响“像真人”的感知。若用于直播或数字
人客服，还要重点看表情连续性和镜头切换稳定性。不要一开始追求全身大幅动作，成本高
且更容易失真。

🗳️ 读者观点微投票 · 您的实战立场是？

人体视频生成，最难的是姿态还是身份一致？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🎬 所属权威专题：AI 视频生成与影视工作流 →](https://paooo.com/topics/ai-video-generation/)

 * [3DHM – 3D人体动作生成框架，单张图片生成任意视频动作](https://paooo.com/aigc-news/24586/)
 * [OmniHuman – 字节跳动推出的单张照片生成全身动态视频生成框架](https://paooo.com/aigc-news/22365/)
 * [字节&浙大联手：InfinityHuman如何用AI数字人技术彻底改变虚拟主播、教育和客服？](https://paooo.com/aigc-news/13853/)
 * [MagicPose – AI视频生成模型，能生成逼真的人体动作和面部表情](https://paooo.com/aigc-news/27463/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22072/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
