JoyVASA – 京东健康开源的音频驱动的数字人头项目

JoyVASA是什么

JoyVASA是京东健康国际公司开源的音频驱动的数字人头项目，基于扩散模型技术，根据音频信号生成与音频同步的面部动态和头部运动。JoyVASA能实现人物的唇形同步和表情控制，还扩展到动物头像的动画生成，在多语种支持和跨物种动画化方面具有广泛的应用潜力。

JoyVASA的主要功能

• 音频驱动的面部动画：根据输入的音频信号生成与之同步的面部动画，包括嘴唇动作和表情变化。
• 唇形同步：基于音频与嘴唇动作的精确匹配，实现逼真的对话效果。
• 表情控制：控制和生成特定的面部表情，增强动画的表现力。
• 动物面部动画：JoyVASA能生成动物的面部动态，扩展应用范围。
• 多语言支持：基于在包含中文和英文数据的混合数据集上训练，JoyVASA支持多语言动画生成。
• 高质量视频生成：项目能生成高分辨率和高质量的动画视频，提升观看体验。

JoyVASA的技术原理

• 解耦面部表示：JoyVASA用解耦的面部表示框架，将动态面部表情从静态3D面部表示中分离出来，生成更长的视频。
• 扩散模型：项目用扩散模型（diffusion model）直接从音频提示中生成运动序列，运动序列与角色身份无关。
• 两阶段训练：
  • 第一阶段：分离静态面部特征和动态运动特征，静态特征捕获面部的身份特征，动态特征编码面部表情、缩放、旋转和平移等动态元素。
  • 第二阶段：训练一个扩散变换器（diffusion transformer），从音频特征中生成运动特征。
• 音频特征提取：用wav2vec2编码器提取输入语音的音频特征，作为生成运动序列的条件。
• 运动序列生成：基于扩散模型在滑动窗口中采样音频驱动的运动序列，运动序列包括面部表情和头部运动。

JoyVASA的项目地址

• 项目官网：jdh-algo.github.io/JoyVASA
• GitHub仓库：https://github.com/jdh-algo/JoyVASA
• HuggingFace模型库：https://huggingface.co/jdh-algo/JoyVASA
• arXiv技术论文：https://arxiv.org/pdf/2411.09209

JoyVASA的应用场景

• 虚拟助手：在智能家居、客户服务和技术支持中，以为虚拟助手提供逼真的面部动画和表情，提升用户交互体验。
• 娱乐和媒体：用在生成或增强角色的面部表情和动作，减少传统动作捕捉的需求。为游戏角色提供更自然的面部表情和动画，提升游戏的沉浸感。
• 社交媒体：用户可以利用JoyVASA生成自己的虚拟形象，用于视频聊天或社交媒体平台上的内容创作。
• 教育和培训：在在线教育平台中，创建虚拟教师，提供更具吸引力的教学体验。在医疗、军事等领域，模拟人物反应和表情，用于专业训练。
• 广告和营销：创建吸引人的虚拟代言人，用于广告宣传，提高品牌形象的吸引力。