---
title: "JoyVASA – 京东健康开源的音频驱动的数字人头项目"
url: "https://paooo.com/aigc-news/25459/"
author: "Prompt 语宙研究院"
published_at: "2026-07-14T04:48:29+08:00"
updated_at: "2026-07-14T04:48:29+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI视频生成, AI音频与语音, HuggingFace, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# JoyVASA – 京东健康开源的音频驱动的数字人头项目

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25459/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-14

## AI 30 秒核心看点 (TL;DR)

- 基于扩散模型与wav2vec2音频特征，JoyVASA可直接生成与语音同步的面部表情和头部运动。
- 项目采用解耦面部表示与两阶段训练，兼顾身份特征保留、长视频生成和更稳定的运动建模。
- 除人脸数字人外，JoyVASA还支持动物头像动画与多语言生成，适合虚拟助手、娱乐和教育场景。

## JoyVASA是什么

JoyVASA是京东健康国际公司开源的音频驱动的数字人头项目，基于扩散模型技术，根据音频信号生成与音频同步的面部动态和头部运动。JoyVASA能实现人物的唇形同步和表情控制，还扩展到动物头像的动画生成，在多语种支持和跨物种动画化方面具有广泛的应用潜力。

## JoyVASA的主要功能

- **音频驱动的面部动画**：根据输入的音频信号生成与之同步的面部动画，包括嘴唇动作和表情变化。

- **唇形同步**：基于音频与嘴唇动作的精确匹配，实现逼真的对话效果。

- **表情控制**：控制和生成特定的面部表情，增强动画的表现力。

- **动物面部动画**：JoyVASA能生成动物的面部动态，扩展应用范围。

- **多语言支持**：基于在包含中文和英文数据的混合数据集上训练，JoyVASA支持多语言动画生成。

- **高质量视频生成**：项目能生成高分辨率和高质量的动画视频，提升观看体验。

## JoyVASA的技术原理

- **解耦面部表示**：JoyVASA用解耦的面部表示框架，将动态面部表情从静态3D面部表示中分离出来，生成更长的视频。

- **扩散模型**：项目用扩散模型（diffusion model）直接从音频提示中生成运动序列，运动序列与角色身份无关。

- **两阶段训练**：

**第一阶段**：分离静态面部特征和动态运动特征，静态特征捕获面部的身份特征，动态特征编码面部表情、缩放、旋转和平移等动态元素。

- **第二阶段**：训练一个扩散变换器（diffusion transformer），从音频特征中生成运动特征。

- **音频特征提取**：用wav2vec2编码器提取输入语音的音频特征，作为生成运动序列的条件。

- **运动序列生成**：基于扩散模型在滑动窗口中采样音频驱动的运动序列，运动序列包括面部表情和头部运动。

## JoyVASA的项目地址

- **项目官网**：[jdh-algo.github.io/JoyVASA](https://jdh-algo.github.io/JoyVASA/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/jdh-algo/JoyVASA](https://github.com/jdh-algo/JoyVASA)

- **HuggingFace模型库**：[https://huggingface.co/jdh-algo/JoyVASA](https://huggingface.co/jdh-algo/JoyVASA)

- **arXiv技术论文**：[https://arxiv.org/pdf/2411.09209](https://arxiv.org/pdf/2411.09209)

## JoyVASA的应用场景

- **虚拟助手**：在智能家居、客户服务和技术支持中，以为虚拟助手提供逼真的面部动画和表情，提升用户交互体验。

- **娱乐和媒体**：用在生成或增强角色的面部表情和动作，减少传统动作捕捉的需求。为游戏角色提供更自然的面部表情和动画，提升游戏的沉浸感。

- **社交媒体**：用户可以利用JoyVASA生成自己的虚拟形象，用于视频聊天或社交媒体平台上的内容创作。

- **教育和培训**：在在线教育平台中，创建虚拟教师，提供更具吸引力的教学体验。在医疗、军事等领域，模拟人物反应和表情，用于专业训练。

- **广告和营销**：创建吸引人的虚拟代言人，用于广告宣传，提高品牌形象的吸引力。

## 常见问题解答 (FAQ)

### JoyVASA是什么项目？
JoyVASA是京东健康国际公司开源的音频驱动数字人头项目，核心能力是根据输入语音生成同步的面部动画、唇形和头部运动，并支持表情控制与动物头像动画生成。

### JoyVASA支持哪些应用场景？
它可用于虚拟助手、娱乐媒体、社交媒体内容创作、在线教育培训，以及广告营销等场景，重点提升数字人交互真实感和表现力。

### JoyVASA的技术特点有哪些？
其技术上采用解耦面部表示、扩散模型和两阶段训练，并用wav2vec2提取音频特征来生成运动序列，因此能实现较自然的音频驱动动画效果。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)