# JoyHallo – 京东推出的音频驱动视频生成AI数字人模型

- Link: https://paooo.com/aigc-news/26614/
- Published: 2026-07-08T20:28:26+08:00
- Author: 站外新闻

## JoyHallo是什么

JoyHallo 是京东开源的[AI数字人](https://ai-bot.cn/best-ai-digital-human-tools/)模型，
专为普通话设计，能根据音频生成逼真的说话视频。特别适合处理普通话的复杂口型和语调，
具有跨语言生成视频的能力。JoyHallo 提供了一个开源的数据集和模型训练方法，使用户可以
生成普通话和英语的说话人视频。项目基于中文wav2vec2模型进行音频特征嵌入，采用半解
耦结构来提升推理速度，提高了14.3%。

阅读目录

 * [JoyHallo是什么](https://paooo.com/aigc-news/26614/#joyhallo%e6%98%af%e4%bb%80%e4%b9%88)
 * [JoyHallo的主要功能](https://paooo.com/aigc-news/26614/#joyhallo%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [JoyHallo的技术原理](https://paooo.com/aigc-news/26614/#joyhallo%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [JoyHallo的项目地址](https://paooo.com/aigc-news/26614/#joyhallo%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [JoyHallo的应用场景](https://paooo.com/aigc-news/26614/#joyhallo%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![JoyHallo](https://paooo.com/wp-content/uploads/2026/07/JoyHallo-website-1.avif)

## JoyHallo的主要功能

 * **音频驱动的视频生成**：JoyHallo 能根据音频输入生成对应的视频，特别是普通话视频。
 * **跨语言生成能力**：除普通话，JoyHallo 能生成英语视频，显示跨语言的视频生成能力。
 * **唇部同步**：模型能精确地同步音频与视频中的唇部运动，提高视频的真实感。
 * **面部表情生成**：根据音频中的情感和语调生成相应的面部表情。

## JoyHallo的技术原理

 * **半解耦结构**：用在提高音频驱动视频生成中唇部运动预测的准确性。通过集成然后分离
   关键的面部动画组件，如唇部、表情和头部姿态，实现更精确的建模。
 * **特征嵌入**：用中国的 wav2vec2 模型嵌入音频特征，有助于模型更好地理解和生成与
   音频同步的面部动作。
 * **交叉注意力机制**：在半解耦结构中，交叉注意力模块处理集成的特征，捕捉相关性。
 * **卷积网络**：在解耦阶段，用卷积网络分离不同的特征，使模型专注于每个特征的特定
   细节。
 * **数据集**：JoyHallo 训练基于 jdh-Hallo 数据集，一个包含多种年龄和说话风格的普通
   话视频数据集，涵盖日常对话和专业医疗话题。

## JoyHallo的项目地址

 * **项目官网**：[jdh-algo.github.io/JoyHallo](https://jdh-algo.github.io/JoyHallo/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/jdh-algo/JoyHallo](https://github.com/jdh-algo/JoyHallo)
 * **HuggingFace模型库**：[https://huggingface.co/jdh-algo/JoyHallo-v1](https://huggingface.co/jdh-algo/JoyHallo-v1)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2409.13268](https://arxiv.org/pdf/2409.13268)

## JoyHallo的应用场景

 * **虚拟主播**：在新闻播报、天气预报、体育赛事解说等领域，JoyHallo 生成虚拟主播
   的视频，提供24小时不间断的节目制作。
 * **在线教育**：在语言学习、在线课程等领域，JoyHallo 生成教师的虚拟形象，提供更加
   生动的教学体验。
 * **客户服务**：在客户服务领域，JoyHallo 生成虚拟客服代表，提供更加亲切和专业的
   客户服务。
 * **娱乐产业**：在电影、游戏、动画制作等领域，JoyHallo生成角色的面部动画，提高制作
   效率和降低成本。
 * **社交媒体**：用户用 JoyHallo 生成自己的虚拟形象，在社交媒体上发布视频内容，增加
   互动性和趣味性。
 * **广告制作**：在广告行业，JoyHallo 生成定制化的广告视频，提高广告的吸引力和个性
   化程度。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)