Wan-Dancer – 阿里通义开源的人像舞蹈视频生成模型

Wan-Dancer是什么

Wan-Dancer 是阿里通义万相开源的音乐驱动人像舞蹈视频生成模型。输入一张人物照片与一段音乐，可生成节奏精准、动作流畅、风格鲜明的高质量舞蹈视频。模型首次突破分钟级时序瓶颈，支持 15 秒至 3 分钟的 720p/30fps 超长连贯输出，覆盖中国古典舞、韩舞、街舞、踢踏舞、拉丁舞五种舞种，支持通过 LoRA 进行个性化舞蹈定制。

Wan-Dancer的主要功能

• 音乐驱动舞蹈生成：输入人物照片与音乐，自动生成与节拍精准对齐的舞蹈视频。
• 分钟级长视频生成：突破传统 20 秒限制，稳定生成 15 秒至 3 分钟的连贯高清视频。
• 多风格舞蹈覆盖：支持中国古典舞、K-Pop、街舞、踢踏舞、拉丁舞五种差异显著的风格。
• LoRA 个性化定制：仅需少量特定舞蹈数据即可训练专属动作风格，实现同款舞蹈复刻。
• 关键帧二次编辑：全局阶段生成的关键帧支持手动修改，实现换装与动作精细控制。

Wan-Dancer的技术原理

• 全局关键帧规划（Global DiT）：基于完整音乐结构生成长时一致性关键帧，规划舞蹈动作骨架与关键姿态，确保全局时间尺度连贯。
• 局部时序细化（Local DiT）：在全局关键帧基础上细化动作细节与帧间过渡，解决动作单一重复问题，提升复杂动作表现力。
• 动态帧率适配：引入 RoPE 映射绝对时间信息，实现不同时长音乐与舞蹈动作的精确时序对齐，消除长序列漂移。
• 光流运动连续性：基于光流的损失函数优化帧间过渡，在快速旋转、复杂步法场景中保持自然连贯。

微信关注回复“开源”，加入AI开源项目交流群

如何使用Wan-Dancer

• 在线体验：访问魔搭创空间https://www.modelscope.cn/studios/Wan-AI/Wan-Dancer，上传 9:16 竖屏单人正面照片与 10–30 秒音乐，选择舞种后点击生成。
• 本地部署：克隆 GitHub 仓库，安装依赖环境，通过 ModelScope 下载 14B 权重，分别运行全局关键帧推理与局部时序细化脚本。
• Diffsynth-Studio 推理：安装 DiffSynth-Studio 后，调用 WanVideoPipeline 加载全局/局部模型配置，设置参考图、音乐路径、关键帧掩码等参数进行生成。

Wan-Dancer的核心优势

• 分层解耦架构：全局 DiT 规划长时一致性关键帧，局部 DiT 细化动作细节与帧间过渡，解决时序漂移与动作重复问题。
• 动态帧率适配：引入 RoPE 映射绝对时间信息，确保不同时长音乐与舞蹈动作精确同步。
• 运动连续性增强：基于光流的损失函数优化，在快速旋转、复杂步法等场景中保持自然连贯。
• 身份高保真：参考图人物身份特征在长序列中保持稳定，避免角色畸变。

Wan-Dancer的项目地址

• 项目官网：https://humanaigc.github.io/wan-dancer-project/
• GitHub仓库：https://github.com/Wan-Video/Wan-Dancer
• HuggingFace模型库：https://huggingface.co/Wan-AI/Wan-Dancer-14B
• arXiv技术论文：https://arxiv.org/pdf/2607.09581