Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: HumanDiT – 浙大联合字节推出的姿态引导人体视频生成框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
HumanDiT – 浙大联合字节推出的姿态引导人体视频生成框架
Prompt 语宙 > AIGC 资讯 > HumanDiT – 浙大联合字节推出的姿态引导人体视频生成框架
AIGC 资讯

HumanDiT – 浙大联合字节推出的姿态引导人体视频生成框架

Prompt 语宙研究院
最近更新: 2026年6月8日 下午5:59
3D与空间智能 AI视频生成
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于扩散变换器与 Keypoint-DiT,HumanDiT 能先生成后续姿态,再驱动人体视频生成,动作更连贯自然。
  • 前缀潜在参考策略让长序列生成中仍能保留人物个性特征,兼顾一致性与高保真细节。
  • 支持从单图或现有视频继续生成,适用于虚拟人、动画制作、沉浸式体验和视频续写。

HumanDiT是什么

HumanDiT 是浙江大学和字节跳动联合提出的姿态引导的高保真人体视频生成框架。基于扩散变换器(Diffusion Transformer,DiT),能在大规模数据集上训练,生成具有精细身体渲染的长序列人体运动视频。HumanDiT 的核心优势在于姿态引导机制,通过关键点扩散变换器(Keypoint-DiT)生成后续姿态序列,保证视频中人体动作的连贯性和自然性。引入了前缀潜在参考策略,在长序列中保持个性化特征。 HumanDiT 支持多种视频分辨率和可变序列长度,适合长序列视频生成。基于姿态适配器实现给定序列的姿态转移,进一步提升了姿态对齐的准确性。

阅读目录
  • HumanDiT是什么
  • HumanDiT的主要功能
  • HumanDiT的技术原理
  • HumanDiT的项目地址
  • HumanDiT的应用场景

HumanDiT

HumanDiT的主要功能

  • 姿态引导的视频生成:HumanDiT 基于关键点扩散变换器(Keypoint-DiT)生成后续姿态序列,确保视频中人体动作的连贯性和自然性。
  • 长序列视频生成:支持多种视频分辨率和可变序列长度,适合生成长序列的高质量视频。
  • 个性化特征保持:通过前缀潜在参考策略,在长序列中保持个性化特征。
  • 灵活的输入与输出:能从静态图像或现有视频中继续生成视频,适用于多种应用场景。
  • 姿态适配与细化:基于姿态适配器实现给定序列的姿态转移,通过姿态细化模块增强面部和手部特征与参考图像的对齐效果。

HumanDiT的技术原理

  • 姿态引导与扩散变换器:HumanDiT 通过姿态引导的方式生成视频,基于关键点扩散变换器(Keypoint-DiT)在推理阶段生成后续的姿态序列。确保了视频中人体动作的连贯性和自然性,同时扩散变换器能够处理不同分辨率和序列长度的视频。
  • 前缀潜在参考策略:为了在长序列视频生成中保持个性化特征,HumanDiT 引入了前缀潜在参考策略。策略通过将视频的第一帧作为无噪声的前缀潜在向量,供模型在生成过程中参考,保持视觉一致性。
  • 姿态适配器与姿态细化模块:HumanDiT 使用姿态适配器来实现给定序列的姿态转移,通过姿态细化模块进一步优化生成的姿态序列。有助于提高面部和手部等细节部位的生成质量,确保与参考图像的对齐效果。
  • 大规模数据集训练:HumanDiT 在包含 14000 小时高质量视频的大型数据集上进行训练,数据通过结构化的数据处理流程收集,涵盖了多种人类动作场景。使模型能学习到丰富的运动先验,在推理过程中表现出强大的泛化能力。

HumanDiT的项目地址

  • 项目官网:https://agnjason.github.io/HumanDiT-page/
  • arXiv技术论文:https://arxiv.org/pdf/2502.04847

HumanDiT的应用场景

  • 虚拟人:HumanDiT 可以用于生成虚拟人的动态视频,动作更加自然流畅。在虚拟客服场景中,虚拟人可以根据用户的提问实时生成相应的动作和表情,提供更加生动、逼真的交互体验。
  • 动画电影:HumanDiT 能生成高质量、长序列的人体运动视频,可以用于生成动画角色的动作序列,帮助动画师快速生成高质量的动作片段,提高制作效率。
  • 沉浸式体验:HumanDiT 可以用于构建沉浸式体验中的虚拟角色和动作。在沉浸式 VR 体验中,HumanDiT 可以生成与场景匹配的人物动作和表情,让参与者感受到更加真实和生动的体验。
  • 视频生成与续写:可以从单张图像生成视频,或者从现有视频中继续生成后续内容。
❓ 常见问题解答(FAQ)
HumanDiT 适合做什么类型的视频生成?

HumanDiT 主要面向姿态引导的人体视频生成,适合虚拟人动态视频、动画角色动作序列、沉浸式 VR 角色表现,以及从单张图像或现有视频继续生成后续内容。

HumanDiT 为什么适合长序列人体视频?

它基于扩散变换器并支持可变序列长度,同时通过 Keypoint-DiT 生成后续姿态序列,配合前缀潜在参考策略保持视觉一致性,因此更适合长序列生成。

HumanDiT 如何提升手部和面部细节?

HumanDiT 通过姿态适配器实现姿态转移,并结合姿态细化模块优化生成结果,可进一步增强面部和手部等细节部位与参考图像的对齐效果。

🔬 语宙深潜追问 · 进阶实操拆解
HumanDiT如何做长视频不崩?

核心是把参考信息前置并持续注入,让模型在长序列里始终记住主体特征。实际使用时要控制动作跨度、分段生成并做跨段一致性校正,否则越往后越容易出现脸部漂移、肢体错位和细节丢失。

虚拟人场景最该优先优化什么?

先优化口型、头部运动和上半身姿态,因为这些最影响“像真人”的感知。若用于直播或数字人客服,还要重点看表情连续性和镜头切换稳定性。不要一开始追求全身大幅动作,成本高且更容易失真。

🗳️ 读者观点微投票 · 您的实战立场是?
人体视频生成,最难的是姿态还是身份一致?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🎬 所属权威专题:AI 视频生成与影视工作流 →
  • 3DHM – 3D人体动作生成框架,单张图片生成任意视频动作
  • OmniHuman – 字节跳动推出的单张照片生成全身动态视频生成框架
  • 字节&浙大联手:InfinityHuman如何用AI数字人技术彻底改变虚拟主播、教育和客服?
  • MagicPose – AI视频生成模型,能生成逼真的人体动作和面部表情
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Qwen3-TTS深度解析:阿里通义开源12Hz多码本语音模型,实现97ms超低延迟与精准音色克隆
每秒2100 Token狂飙与思考模式膨胀9倍!Latent Space独家实测NaiveAI开源代码模型:小米MiMo底座、端到端时延压至3.1秒与三款3D应用生成深度拆解
Video Alchemist – AI视频生成模型,具备多主体开放集合个性化能力
Step 3.7 Flash 重磅开源发布:198B MoE架构实现400TPS推理,Agent效率与可靠性新时代已至
Step1X-3D – 阶跃星辰联合LightIllusions开源的3D资产生成框架
TAGGED:3D与空间智能AI视频生成
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 ReasonIR-8B – Meta AI 推出专为推理密集型检索任务设计的模型 ReasonIR-8B – Meta AI 推出专为推理密集型检索任务设计的模型
下一篇 DoraCycle – 新加坡国立大学推出多模态领域适应的统一生成模型 DoraCycle – 新加坡国立大学推出多模态领域适应的统一生成模型
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

谷歌DeepMind发布SIMA 2:Gemini驱动的新一代AI游戏智能体,能听会看善学习
AI 工具AIGC 资讯

谷歌DeepMind发布SIMA 2:Gemini驱动的新一代AI游戏智能体,能听会看善学习

Prompt 语宙研究院
AI智能体 Gemini SIMA 2 虚拟3D世界 谷歌DeepMind
GitFriend – AI GitHub助手,自动生成定制化README文件
AIGC 资讯

GitFriend – AI GitHub助手,自动生成定制化README文件

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 Next.js 开源大模型
Being-M0 – 北大联合人民大学推出的人形机器人通用动作生成模型
AIGC 资讯

Being-M0 – 北大联合人民大学推出的人形机器人通用动作生成模型

Prompt 语宙研究院
3D与空间智能 AI智能体 开源大模型
Ornith-1.0 – DeepReinforce 开源的 Agentic 编程系列模型
AIGC 资讯

Ornith-1.0 – DeepReinforce 开源的 Agentic 编程系列模型

Prompt 语宙研究院
AI智能体 AI编程 Claude OpenAI 通义千问
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.