# JoyVASA – 京东健康开源的音频驱动的数字人头项目

- Link: https://paooo.com/aigc-news/25459/
- Published: 2026-07-14T04:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于扩散模型与wav2vec2音频特征，JoyVASA可直接生成与语音同步的面部表情和头部运动。
 * 项目采用解耦面部表示与两阶段训练，兼顾身份特征保留、长视频生成和更稳定的运动建
   模。
 * 除人脸数字人外，JoyVASA还支持动物头像动画与多语言生成，适合虚拟助手、娱乐和教育
   场景。

## JoyVASA是什么

JoyVASA是京东健康国际公司开源的音频驱动的数字人头项目，基于扩散模型技术，根据音频
信号生成与音频同步的面部动态和头部运动。JoyVASA能实现人物的唇形同步和表情控制，还
扩展到动物头像的动画生成，在多语种支持和跨物种动画化方面具有广泛的应用潜力。

阅读目录

 * [JoyVASA是什么](https://paooo.com/aigc-news/25459/#joyvasa%e6%98%af%e4%bb%80%e4%b9%88)
 * [JoyVASA的主要功能](https://paooo.com/aigc-news/25459/#joyvasa%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [JoyVASA的技术原理](https://paooo.com/aigc-news/25459/#joyvasa%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [JoyVASA的项目地址](https://paooo.com/aigc-news/25459/#joyvasa%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [JoyVASA的应用场景](https://paooo.com/aigc-news/25459/#joyvasa%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![JoyVASA](https://paooo.com/wp-content/uploads/2026/07/JoyVASA-website-1.avif)

## JoyVASA的主要功能

 * **音频驱动的面部动画**：根据输入的音频信号生成与之同步的面部动画，包括嘴唇动作
   和表情变化。
 * **唇形同步**：基于音频与嘴唇动作的精确匹配，实现逼真的对话效果。
 * **表情控制**：控制和生成特定的面部表情，增强动画的表现力。
 * **动物面部动画**：JoyVASA能生成动物的面部动态，扩展应用范围。
 * **多语言支持**：基于在包含中文和英文数据的混合数据集上训练，JoyVASA支持多语言
   动画生成。
 * **高质量视频生成**：项目能生成高分辨率和高质量的动画视频，提升观看体验。

## JoyVASA的技术原理

 * **解耦面部表示**：JoyVASA用解耦的面部表示框架，将动态面部表情从静态3D面部表示
   中分离出来，生成更长的视频。
 * **扩散模型**：项目用扩散模型（diffusion model）直接从音频提示中生成运动序列，
   运动序列与角色身份无关。
 * **两阶段训练**：
    - **第一阶段**：分离静态面部特征和动态运动特征，静态特征捕获面部的身份特征，
      动态特征编码面部表情、缩放、旋转和平移等动态元素。
    - **第二阶段**：训练一个扩散变换器（diffusion transformer），从音频特征中生成
      运动特征。
 * **音频特征提取**：用wav2vec2编码器提取输入语音的音频特征，作为生成运动序列的条件。
 * **运动序列生成**：基于扩散模型在滑动窗口中采样音频驱动的运动序列，运动序列包括
   面部表情和头部运动。

## JoyVASA的项目地址

 * **项目官网**：[jdh-algo.github.io/JoyVASA](https://jdh-algo.github.io/JoyVASA/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/jdh-algo/JoyVASA](https://github.com/jdh-algo/JoyVASA)
 * **HuggingFace模型库**：[https://huggingface.co/jdh-algo/JoyVASA](https://huggingface.co/jdh-algo/JoyVASA)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2411.09209](https://arxiv.org/pdf/2411.09209)

## JoyVASA的应用场景

 * **虚拟助手**：在智能家居、客户服务和技术支持中，以为虚拟助手提供逼真的面部动画
   和表情，提升用户交互体验。
 * **娱乐和媒体**：用在生成或增强角色的面部表情和动作，减少传统动作捕捉的需求。为
   游戏角色提供更自然的面部表情和动画，提升游戏的沉浸感。
 * **社交媒体**：用户可以利用JoyVASA生成自己的虚拟形象，用于视频聊天或社交媒体平台
   上的内容创作。
 * **教育和培训**：在在线教育平台中，创建虚拟教师，提供更具吸引力的教学体验。在医疗、
   军事等领域，模拟人物反应和表情，用于专业训练。
 * **广告和营销**：创建吸引人的虚拟代言人，用于广告宣传，提高品牌形象的吸引力。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

JoyVASA是什么项目？

JoyVASA是京东健康国际公司开源的音频驱动数字人头项目，核心能力是根据输入语音生成同步
的面部动画、唇形和头部运动，并支持表情控制与动物头像动画生成。

JoyVASA支持哪些应用场景？

它可用于虚拟助手、娱乐媒体、社交媒体内容创作、在线教育培训，以及广告营销等场景，
重点提升数字人交互真实感和表现力。

JoyVASA的技术特点有哪些？

其技术上采用解耦面部表示、扩散模型和两阶段训练，并用wav2vec2提取音频特征来生成运动
序列，因此能实现较自然的音频驱动动画效果。

🔬 语宙深潜追问 · 进阶实操拆解

如何让数字人头部动作更自然？

头动不能只跟语音能量走，要结合停顿、重音和说话节奏建模。实践中可用分层控制：底层
生成微动和呼吸感，上层再控制点头、转头和情绪幅度，避免“抖动式表演”。

多语言场景下怎样保持一致表现？

先把语言差异从表情与头动中剥离，统一用音素时序和韵律特征驱动动作，再针对不同语言
做少量适配。这样能减少口型错配，同时保持跨语言的身份一致性和情绪风格。

🗳️ 读者观点微投票 · 您的实战立场是？

音频驱动数字人最难突破的是哪一关？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [JoyHallo – 京东推出的音频驱动视频生成AI数字人模型](https://paooo.com/aigc-news/26614/)
 * [VASA-1 – 微软推出的静态照片对口型视频生成框架](https://paooo.com/aigc-news/27994/)
 * [美团LongCat开源：音频驱动数字人视频生成模型，超逼真口型同步、长视频稳定生成](https://paooo.com/aigc-news/12705/)
 * [JoyGen – 京东和港大推出音频驱动的3D说话人脸视频生成框架](https://paooo.com/aigc-news/22322/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25459/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)