---
title: "HumanDiT – 浙大联合字节推出的姿态引导人体视频生成框架"
url: "https://paooo.com/aigc-news/22072/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T17:59:51+08:00"
updated_at: "2026-06-08T17:59:51+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI视频生成"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# HumanDiT – 浙大联合字节推出的姿态引导人体视频生成框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/22072/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 基于扩散变换器与 Keypoint-DiT，HumanDiT 能先生成后续姿态，再驱动人体视频生成，动作更连贯自然。
- 前缀潜在参考策略让长序列生成中仍能保留人物个性特征，兼顾一致性与高保真细节。
- 支持从单图或现有视频继续生成，适用于虚拟人、动画制作、沉浸式体验和视频续写。

## HumanDiT是什么

HumanDiT 是浙江大学和字节跳动联合提出的姿态引导的高保真人体[视频生成](https://ai-bot.cn/ai-video-generation-tools/)框架。基于扩散变换器（Diffusion Transformer，DiT），能在大规模数据集上训练，生成具有精细身体渲染的长序列人体运动视频。HumanDiT 的核心优势在于姿态引导机制，通过关键点扩散变换器（Keypoint-DiT）生成后续姿态序列，保证视频中人体动作的连贯性和自然性。引入了前缀潜在参考策略，在长序列中保持个性化特征。 HumanDiT 支持多种视频分辨率和可变序列长度，适合长序列视频生成。基于姿态适配器实现给定序列的姿态转移，进一步提升了姿态对齐的准确性。

## HumanDiT的主要功能

- **姿态引导的视频生成**：HumanDiT 基于关键点扩散变换器（Keypoint-DiT）生成后续姿态序列，确保视频中人体动作的连贯性和自然性。

- **长序列视频生成**：支持多种视频分辨率和可变序列长度，适合生成长序列的高质量视频。

- **个性化特征保持**：通过前缀潜在参考策略，在长序列中保持个性化特征。

- **灵活的输入与输出**：能从静态图像或现有视频中继续生成视频，适用于多种应用场景。

- **姿态适配与细化**：基于姿态适配器实现给定序列的姿态转移，通过姿态细化模块增强面部和手部特征与参考图像的对齐效果。

## HumanDiT的技术原理

- **姿态引导与扩散变换器**：HumanDiT 通过姿态引导的方式生成视频，基于关键点扩散变换器（Keypoint-DiT）在推理阶段生成后续的姿态序列。确保了视频中人体动作的连贯性和自然性，同时扩散变换器能够处理不同分辨率和序列长度的视频。

- **前缀潜在参考策略**：为了在长序列视频生成中保持个性化特征，HumanDiT 引入了前缀潜在参考策略。策略通过将视频的第一帧作为无噪声的前缀潜在向量，供模型在生成过程中参考，保持视觉一致性。

- **姿态适配器与姿态细化模块**：HumanDiT 使用姿态适配器来实现给定序列的姿态转移，通过姿态细化模块进一步优化生成的姿态序列。有助于提高面部和手部等细节部位的生成质量，确保与参考图像的对齐效果。

- **大规模数据集训练**：HumanDiT 在包含 14000 小时高质量视频的大型数据集上进行训练，数据通过结构化的数据处理流程收集，涵盖了多种人类动作场景。使模型能学习到丰富的运动先验，在推理过程中表现出强大的泛化能力。

## HumanDiT的项目地址

- **项目官网**：[https://agnjason.github.io/HumanDiT-page/](https://agnjason.github.io/HumanDiT-page/?utm_source=ai-bot.cn)

- **arXiv技术论文**：[https://arxiv.org/pdf/2502.04847](https://arxiv.org/pdf/2502.04847)

## HumanDiT的应用场景

- **虚拟人**：HumanDiT 可以用于生成虚拟人的动态视频，动作更加自然流畅。在虚拟客服场景中，虚拟人可以根据用户的提问实时生成相应的动作和表情，提供更加生动、逼真的交互体验。

- **动画电影**：HumanDiT 能生成高质量、长序列的人体运动视频，可以用于生成动画角色的动作序列，帮助动画师快速生成高质量的动作片段，提高制作效率。

- **沉浸式体验**：HumanDiT 可以用于构建沉浸式体验中的虚拟角色和动作。在沉浸式 VR 体验中，HumanDiT 可以生成与场景匹配的人物动作和表情，让参与者感受到更加真实和生动的体验。

- **视频生成与续写**：可以从单张图像生成视频，或者从现有视频中继续生成后续内容。

## 常见问题解答 (FAQ)

### HumanDiT 适合做什么类型的视频生成？
HumanDiT 主要面向姿态引导的人体视频生成，适合虚拟人动态视频、动画角色动作序列、沉浸式 VR 角色表现，以及从单张图像或现有视频继续生成后续内容。

### HumanDiT 为什么适合长序列人体视频？
它基于扩散变换器并支持可变序列长度，同时通过 Keypoint-DiT 生成后续姿态序列，配合前缀潜在参考策略保持视觉一致性，因此更适合长序列生成。

### HumanDiT 如何提升手部和面部细节？
HumanDiT 通过姿态适配器实现姿态转移，并结合姿态细化模块优化生成结果，可进一步增强面部和手部等细节部位与参考图像的对齐效果。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
