Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: JoyGen – 京东和港大推出音频驱动的3D说话人脸视频生成框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
JoyGen – 京东和港大推出音频驱动的3D说话人脸视频生成框架
Prompt 语宙 > AIGC 资讯 > JoyGen – 京东和港大推出音频驱动的3D说话人脸视频生成框架
AIGC 资讯

JoyGen – 京东和港大推出音频驱动的3D说话人脸视频生成框架

Prompt 语宙研究院
最近更新: 2026年6月9日 上午1:53
3D与空间智能 AI视频生成 AI音频与语音
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 音频驱动唇形生成,结合3D重建与深度图,实现更精准的口型同步。
  • 单步UNet融合音频特征与图像信息,兼顾高效视频编辑和高质量合成。
  • 在130小时中文视频数据训练下,HDTF验证表现优越,适合多语言说话人脸生成。

JoyGen是什么

JoyGen是京东科技和香港大学推出的,音频驱动的3D说话人脸视频生成框架,专注于实现精确的唇部与音频同步及高质量的视觉效果。JoyGen结合音频特征和面部深度图,驱动唇部运动的生成,用单步UNet架构进行高效的视频编辑。JoyGen在训练过程中用包含130小时中文视频的高质量数据集,在开源的HDTF数据集上验证其优越性能。实验结果表明,JoyGen在唇部与音频同步和视觉质量方面均达到行业领先水平,为说话人脸视频编辑领域提供了新的技术解决方案。

阅读目录
  • JoyGen是什么
  • JoyGen的主要功能
  • JoyGen的技术原理
  • JoyGen的项目地址
  • JoyGen的应用场景

JoyGen

JoyGen的主要功能

  • 唇部与音频同步:基于音频驱动的唇部运动生成技术,确保视频中人物的唇部动作与音频内容精准对应。
  • 高质量视觉效果:生成的视频具有逼真的视觉效果,包括自然的面部表情和清晰的唇部细节。
  • 视频编辑与优化:在现有视频的基础上进行唇部运动的编辑和优化,无需重新生成整个视频。
  • 多语言支持:支持中文和英文等不同语言的视频生成,适应多种应用场景。

JoyGen的技术原理

  • 第一阶段:
    • 音频驱动的唇部运动生成 3D重建模型:3D重建模型从输入的面部图像中提取身份系数,身份系数用在描述人物的面部特征。
    • 音频到运动模型:基于音频到运动模型将音频信号转换为表情系数,表情系数用于控制唇部的运动。
    • 深度图生成:结合身份系数和表情系数生成面部的3D网格,基于可微渲染技术生成面部深度图,用在后续的视频合成。
  • 第二阶段:
    • 视觉外观合成 单步UNet架构:用单步UNet网络将音频特征和深度图信息整合到视频帧的生成过程中。UNet基于编码器将输入图像映射到低维潜在空间,结合音频特征和深度图信息进行唇部运动的生成。
    • 跨注意力机制:音频特征基于跨注意力机制与图像特征交互,确保生成的唇部运动与音频信号高度一致。
    • 解码与优化:生成的潜在表示基于解码器还原为图像空间,生成最终的视频帧。基于L1损失函数在潜在空间和像素空间进行优化,确保生成视频的高质量和同步性。
  • 数据集支持:JoyGen使用包含130小时中文视频的高质量数据集进行训练,确保模型能适应多种场景和语言环境。

JoyGen的项目地址

  • 项目官网:https://joy-mm.github.io/JoyGen/
  • GitHub仓库:https://github.com/JOY-MM/JoyGen
  • arXiv技术论文:https://arxiv.org/pdf/2501.01798

JoyGen的应用场景

  • 虚拟主播与直播:创建虚拟主播,实现新闻播报、电商直播等,根据输入音频实时生成逼真唇部运动,提升观众体验。
  • 动画制作:在动画影视领域,快速生成与配音同步的唇部动画,减少动画师工作量,提高制作效率。
  • 在线教育:生成虚拟教师形象,实现与教学语音同步的唇部动作,让教学视频更生动,增强学生学习兴趣。
  • 视频内容创作:帮助创作者快速生成高质量说话人脸视频,如虚拟人物短剧、搞笑视频等,丰富创作形式。
  • 多语言视频生成:支持多语言,将一种语言的视频快速转换为其他语言版本,且唇部动作与新语言音频同步,便于内容国际化传播。
❓ 常见问题解答(FAQ)
JoyGen是什么模型?

JoyGen是京东科技和香港大学推出的音频驱动3D说话人脸视频生成框架,核心是把音频特征与面部深度图结合起来,生成唇部运动并编辑现有视频,重点提升口型同步和视觉质量。

JoyGen相比传统说话人脸生成有什么优势?

它采用单步UNet架构,将音频特征、深度图和图像特征联合建模,既能保证唇形与音频高度一致,也能在编辑效率和画面真实感上取得更好的平衡。

JoyGen支持哪些应用场景?

可用于虚拟主播、动画配音、在线教育、视频内容创作和多语言视频生成等场景,尤其适合需要快速生成与语音同步的逼真说话人脸视频。

🔬 语宙深潜追问 · 进阶实操拆解
3D深度图为何能提升口型质量?

深度图提供了脸部几何约束,能让嘴唇开合、下颌运动和头部姿态更稳定地跟随音频。相比纯2D生成,它更不容易出现嘴型漂移、脸部扭曲和侧脸失真。

中文场景训练要注意什么?

中文音素节奏和口型映射与英文不同,需覆盖更多声调、连读和爆破音样本。数据上还要平衡说话速度、表情幅度和头动范围,否则模型容易在真实中文口播中失真。

🗳️ 读者观点微投票 · 您的实战立场是?
音频驱动说话脸最先卡在哪?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🎬 所属权威专题:AI 视频生成与影视工作流 →
  • JoyHallo – 京东推出的音频驱动视频生成AI数字人模型
  • JoyVASA – 京东健康开源的音频驱动的数字人头项目
  • EDTalk – 上海交大联合网易推出高效解耦的情感说话头像合成模型
  • ARTalk – 东京大学等机构推出的3D头部动画生成框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
LibTV Agent 打造工作流生态,重塑创作者生产力
阿里开源Qwen-Image-Layered:AI图像编辑新范式,一键将图片拆分为独立透明图层
PixVerse 完成 4.39 亿美元 C 轮扩展融资 估值飙升至 20 亿美元
Homestyler AI
明岐 – 上海交大推出的医学多模态大模型,精准诊断罕见病
TAGGED:3D与空间智能AI视频生成AI音频与语音
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 AgiBot Digital World – 智元机器人推出的机器人仿真框架 AgiBot Digital World – 智元机器人推出的机器人仿真框架
下一篇 LLMDet – 阿里通义联合中山大学等机构推出的开放词汇目标检测模型 LLMDet – 阿里通义联合中山大学等机构推出的开放词汇目标检测模型
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

GoodWeBot – 基于 RPA 技术开源的 AI 微信机器人
AIGC 资讯

GoodWeBot – 基于 RPA 技术开源的 AI 微信机器人

Prompt 语宙研究院
AI办公效率 AI智能体 开源大模型
Qwen2.5-VL – 阿里通义千问开源的视觉语言模型
AIGC 资讯

Qwen2.5-VL – 阿里通义千问开源的视觉语言模型

Prompt 语宙研究院
ChatGPT HuggingFace 大模型微调 开源大模型 通义千问
ChatGPT 悄悄给文笔设了道墙:不再模仿在世作家文笔
AIGC 资讯

ChatGPT 悄悄给文笔设了道墙:不再模仿在世作家文笔

Prompt 语宙研究院
ChatGPT OpenAI
2026 AIGC峰会前瞻:京东科技JoyInside如何定义“AI World”,让智能硬件成为家庭新成员?
AIGC 资讯最新趋势

2026 AIGC峰会前瞻:京东科技JoyInside如何定义“AI World”,让智能硬件成为家庭新成员?

Prompt 语宙研究院
AI World AIGC JoyInside 京东科技 智能硬件
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.