# JoyGen – 京东和港大推出音频驱动的3D说话人脸视频生成框架

- Link: https://paooo.com/aigc-news/22322/
- Published: 2026-06-09T01:53:21+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 音频驱动唇形生成，结合3D重建与深度图，实现更精准的口型同步。
 * 单步UNet融合音频特征与图像信息，兼顾高效视频编辑和高质量合成。
 * 在130小时中文视频数据训练下，HDTF验证表现优越，适合多语言说话人脸生成。

## JoyGen是什么

JoyGen是京东科技和香港大学推出的，音频驱动的3D说话人脸[视频生成](https://ai-bot.cn/ai-video-generation-tools/)
框架，专注于实现精确的唇部与音频同步及高质量的视觉效果。JoyGen结合音频特征和面部
深度图，驱动唇部运动的生成，用单步UNet架构进行高效的视频编辑。JoyGen在训练过程中
用包含130小时中文视频的高质量数据集，在开源的HDTF数据集上验证其优越性能。实验结果
表明，JoyGen在唇部与音频同步和视觉质量方面均达到行业领先水平，为说话人脸视频编辑
领域提供了新的技术解决方案。

阅读目录

 * [JoyGen是什么](https://paooo.com/aigc-news/22322/#joygen%e6%98%af%e4%bb%80%e4%b9%88)
 * [JoyGen的主要功能](https://paooo.com/aigc-news/22322/#joygen%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [JoyGen的技术原理](https://paooo.com/aigc-news/22322/#joygen%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [JoyGen的项目地址](https://paooo.com/aigc-news/22322/#joygen%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [JoyGen的应用场景](https://paooo.com/aigc-news/22322/#joygen%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![JoyGen ](https://paooo.com/wp-content/uploads/2026/06/JoyGen-website-1.avif)

## JoyGen的主要功能

 * **唇部与音频同步**：基于音频驱动的唇部运动生成技术，确保视频中人物的唇部动作与
   音频内容精准对应。
 * ** 高质量视觉效果**：生成的视频具有逼真的视觉效果，包括自然的面部表情和清晰的
   唇部细节。
 * ** 视频编辑与优化**：在现有视频的基础上进行唇部运动的编辑和优化，无需重新生成
   整个视频。
 * **多语言支持**：支持中文和英文等不同语言的视频生成，适应多种应用场景。

## JoyGen的技术原理

 * **第一阶段**：
    - **音频驱动的唇部运动生成 3D重建模型**：3D重建模型从输入的面部图像中提取身份
      系数，身份系数用在描述人物的面部特征。
    - ** 音频到运动模型**：基于音频到运动模型将音频信号转换为表情系数，表情系数用于
      控制唇部的运动。
    - **深度图生成**：结合身份系数和表情系数生成面部的3D网格，基于可微渲染技术生成
      面部深度图，用在后续的视频合成。
 * ** 第二阶段**：
    - **视觉外观合成 单步UNet架构**：用单步UNet网络将音频特征和深度图信息整合到视频
      帧的生成过程中。UNet基于编码器将输入图像映射到低维潜在空间，结合音频特征和
      深度图信息进行唇部运动的生成。
    - ** 跨注意力机制**：音频特征基于跨注意力机制与图像特征交互，确保生成的唇部运动
      与音频信号高度一致。
    - **解码与优化**：生成的潜在表示基于解码器还原为图像空间，生成最终的视频帧。
      基于L1损失函数在潜在空间和像素空间进行优化，确保生成视频的高质量和同步性。
 * ** 数据集支持**：JoyGen使用包含130小时中文视频的高质量数据集进行训练，确保模型
   能适应多种场景和语言环境。

## JoyGen的项目地址

 * **项目官网**：[https://joy-mm.github.io/JoyGen/](https://joy-mm.github.io/JoyGen/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/JOY-MM/JoyGen](https://github.com/JOY-MM/JoyGen)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.01798](https://arxiv.org/pdf/2501.01798)

## JoyGen的应用场景

 * **虚拟主播与直播**：创建虚拟主播，实现新闻播报、电商直播等，根据输入音频实时生成
   逼真唇部运动，提升观众体验。
 * **动画制作**：在动画影视领域，快速生成与配音同步的唇部动画，减少动画师工作量，
   提高制作效率。
 * ** 在线教育**：生成虚拟教师形象，实现与教学语音同步的唇部动作，让教学视频更生动，
   增强学生学习兴趣。
 * **视频内容创作**：帮助创作者快速生成高质量说话人脸视频，如虚拟人物短剧、搞笑视频
   等，丰富创作形式。
 * ** 多语言视频生成**：支持多语言，将一种语言的视频快速转换为其他语言版本，且唇部
   动作与新语言音频同步，便于内容国际化传播。

❓ 常见问题解答（FAQ）

JoyGen是什么模型？

JoyGen是京东科技和香港大学推出的音频驱动3D说话人脸视频生成框架，核心是把音频特征
与面部深度图结合起来，生成唇部运动并编辑现有视频，重点提升口型同步和视觉质量。

JoyGen相比传统说话人脸生成有什么优势？

它采用单步UNet架构，将音频特征、深度图和图像特征联合建模，既能保证唇形与音频高度
一致，也能在编辑效率和画面真实感上取得更好的平衡。

JoyGen支持哪些应用场景？

可用于虚拟主播、动画配音、在线教育、视频内容创作和多语言视频生成等场景，尤其适合
需要快速生成与语音同步的逼真说话人脸视频。

🔬 语宙深潜追问 · 进阶实操拆解

3D深度图为何能提升口型质量？

深度图提供了脸部几何约束，能让嘴唇开合、下颌运动和头部姿态更稳定地跟随音频。相比
纯2D生成，它更不容易出现嘴型漂移、脸部扭曲和侧脸失真。

中文场景训练要注意什么？

中文音素节奏和口型映射与英文不同，需覆盖更多声调、连读和爆破音样本。数据上还要平衡
说话速度、表情幅度和头动范围，否则模型容易在真实中文口播中失真。

🗳️ 读者观点微投票 · 您的实战立场是？

音频驱动说话脸最先卡在哪？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🎬 所属权威专题：AI 视频生成与影视工作流 →](https://paooo.com/topics/ai-video-generation/)

 * [JoyHallo – 京东推出的音频驱动视频生成AI数字人模型](https://paooo.com/aigc-news/26614/)
 * [JoyVASA – 京东健康开源的音频驱动的数字人头项目](https://paooo.com/aigc-news/25459/)
 * [EDTalk – 上海交大联合网易推出高效解耦的情感说话头像合成模型](https://paooo.com/aigc-news/24523/)
 * [ARTalk – 东京大学等机构推出的3D头部动画生成框架](https://paooo.com/aigc-news/21394/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22322/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
