---
title: "JoyGen – 京东和港大推出音频驱动的3D说话人脸视频生成框架"
url: "https://paooo.com/aigc-news/22322/"
author: "Prompt 语宙研究院"
published_at: "2026-06-09T01:53:21+08:00"
updated_at: "2026-06-09T01:53:21+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI视频生成, AI音频与语音"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# JoyGen – 京东和港大推出音频驱动的3D说话人脸视频生成框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/22322/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-09

## AI 30 秒核心看点 (TL;DR)

- 音频驱动唇形生成，结合3D重建与深度图，实现更精准的口型同步。
- 单步UNet融合音频特征与图像信息，兼顾高效视频编辑和高质量合成。
- 在130小时中文视频数据训练下，HDTF验证表现优越，适合多语言说话人脸生成。

## JoyGen是什么

JoyGen是京东科技和香港大学推出的，音频驱动的3D说话人脸[视频生成](https://ai-bot.cn/ai-video-generation-tools/)框架，专注于实现精确的唇部与音频同步及高质量的视觉效果。JoyGen结合音频特征和面部深度图，驱动唇部运动的生成，用单步UNet架构进行高效的视频编辑。JoyGen在训练过程中用包含130小时中文视频的高质量数据集，在开源的HDTF数据集上验证其优越性能。实验结果表明，JoyGen在唇部与音频同步和视觉质量方面均达到行业领先水平，为说话人脸视频编辑领域提供了新的技术解决方案。

## JoyGen的主要功能

- **唇部与音频同步**：基于音频驱动的唇部运动生成技术，确保视频中人物的唇部动作与音频内容精准对应。

- ** 高质量视觉效果**：生成的视频具有逼真的视觉效果，包括自然的面部表情和清晰的唇部细节。

- ** 视频编辑与优化**：在现有视频的基础上进行唇部运动的编辑和优化，无需重新生成整个视频。

- **多语言支持**：支持中文和英文等不同语言的视频生成，适应多种应用场景。

## JoyGen的技术原理

- **第一阶段**：

**音频驱动的唇部运动生成 3D重建模型**：3D重建模型从输入的面部图像中提取身份系数，身份系数用在描述人物的面部特征。

- ** 音频到运动模型**：基于音频到运动模型将音频信号转换为表情系数，表情系数用于控制唇部的运动。

- **深度图生成**：结合身份系数和表情系数生成面部的3D网格，基于可微渲染技术生成面部深度图，用在后续的视频合成。

- ** 第二阶段**：

**视觉外观合成 单步UNet架构**：用单步UNet网络将音频特征和深度图信息整合到视频帧的生成过程中。UNet基于编码器将输入图像映射到低维潜在空间，结合音频特征和深度图信息进行唇部运动的生成。

- ** 跨注意力机制**：音频特征基于跨注意力机制与图像特征交互，确保生成的唇部运动与音频信号高度一致。

- **解码与优化**：生成的潜在表示基于解码器还原为图像空间，生成最终的视频帧。基于L1损失函数在潜在空间和像素空间进行优化，确保生成视频的高质量和同步性。

- ** 数据集支持**：JoyGen使用包含130小时中文视频的高质量数据集进行训练，确保模型能适应多种场景和语言环境。

## JoyGen的项目地址

- **项目官网**：[https://joy-mm.github.io/JoyGen/](https://joy-mm.github.io/JoyGen/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/JOY-MM/JoyGen](https://github.com/JOY-MM/JoyGen)

- **arXiv技术论文**：[https://arxiv.org/pdf/2501.01798](https://arxiv.org/pdf/2501.01798)

## JoyGen的应用场景

- **虚拟主播与直播**：创建虚拟主播，实现新闻播报、电商直播等，根据输入音频实时生成逼真唇部运动，提升观众体验。

- **动画制作**：在动画影视领域，快速生成与配音同步的唇部动画，减少动画师工作量，提高制作效率。

- ** 在线教育**：生成虚拟教师形象，实现与教学语音同步的唇部动作，让教学视频更生动，增强学生学习兴趣。

- **视频内容创作**：帮助创作者快速生成高质量说话人脸视频，如虚拟人物短剧、搞笑视频等，丰富创作形式。

- ** 多语言视频生成**：支持多语言，将一种语言的视频快速转换为其他语言版本，且唇部动作与新语言音频同步，便于内容国际化传播。

## 常见问题解答 (FAQ)

### JoyGen是什么模型？
JoyGen是京东科技和香港大学推出的音频驱动3D说话人脸视频生成框架，核心是把音频特征与面部深度图结合起来，生成唇部运动并编辑现有视频，重点提升口型同步和视觉质量。

### JoyGen相比传统说话人脸生成有什么优势？
它采用单步UNet架构，将音频特征、深度图和图像特征联合建模，既能保证唇形与音频高度一致，也能在编辑效率和画面真实感上取得更好的平衡。

### JoyGen支持哪些应用场景？
可用于虚拟主播、动画配音、在线教育、视频内容创作和多语言视频生成等场景，尤其适合需要快速生成与语音同步的逼真说话人脸视频。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
