Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: EMAGE – 清华联合东大等机构推出的音频生成全身共语手势框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
EMAGE – 清华联合东大等机构推出的音频生成全身共语手势框架
Prompt 语宙 > AIGC 资讯 > EMAGE – 清华联合东大等机构推出的音频生成全身共语手势框架
AIGC 资讯

EMAGE – 清华联合东大等机构推出的音频生成全身共语手势框架

Prompt 语宙研究院
最近更新: 2026年6月9日 上午1:23
3D与空间智能 AI音频与语音 HuggingFace 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于音频与部分手势提示,EMAGE可生成同步的全身共语手势,覆盖表情、肢体与全局位移。
  • 采用掩蔽音频手势变换器联合训练生成与重建任务,增强对音频语义和局部动作的联合建模能力。
  • 通过多组预训练VQ-VAE与全局运动预测器,兼顾局部细节、多样性和整体运动连贯性。

EMAGE是什么

EMAGE(Expressive Masked Audio-conditioned GEsture modeling)是清华大学、东京大学、庆应义塾大学等机构推出的生成全身共语手势框架。EMAGE能根据音频和部分遮蔽的手势输入,生成与音频同步的完整全身手势,包括面部表情、身体动作、手势和全局运动。EMAGE基于掩蔽音频手势变换器实现音频到手势的生成和掩蔽手势重建的联合训练,有效编码音频和身体手势提示。EMAGE用四个组合的预训练VQ-VAE(Vector Quantized Variational AutoEncoders)解码局部面部和身体动作,基于预训练的全局运动预测器解码全局平移。

阅读目录
  • EMAGE是什么
  • EMAGE的主要功能
  • EMAGE的技术原理
  • EMAGE的项目地址
  • EMAGE的应用场景

EMAGE

EMAGE的主要功能

  • 生成与音频同步的手势:根据输入的音频信号,生成与音频节奏和语义相匹配的全身手势。
  • 接受部分预定义手势输入:基于用户提供的部分手势(如特定动作或姿势)作为提示,生成完整的、自然的手势序列。
  • 生成多样化的手势:组合多个预训练的VQ-VAE(向量量化变分自编码器),生成丰富多样的手势动作,避免单一和重复的结果。
  • 支持全身手势生成:支持生成面部和上肢动作和下肢和全局运动,实现更自然、完整的人体动画效果。

EMAGE的技术原理

  • 掩蔽音频手势变换器:在训练过程中,部分手势数据被随机遮蔽,模型基于音频和其他未遮蔽的手势信息预测遮蔽部分。掩蔽机制类似于自然语言处理中的BERT模型,能增强模型对局部和全局信息的理解能力。进行音频到手势生成和掩蔽手势重建的训练,让模型能够更好地学习音频与手势之间的映射关系,同时利用已有的手势信息(即使部分被遮蔽)来生成更准确的手势。
  • 音频特征融合:将音频的节奏特征(如音调的起伏、节奏的强弱)和内容特征(如文本转录的词嵌入)结合起来,使生成的手势既能反映音频的节奏,能与语义相关联。例如,在提到“走路”时,模型可以生成相应的行走手势。
  • 预训练的VQ-VAE:将身体的不同部分(如面部、上肢、下肢)分别用独立的VQ-VAE建模,每个VQ-VAE负责生成特定部分的动作。这种分段建模方式能更好地捕捉不同身体部位与音频之间的独特关系,提高生成手势的准确性和多样性。
  • 离散表示学习:基于VQ-VAE将连续的手势动作转换为离散的表示,便于模型学习和生成。这种离散表示类似于语言中的词汇,让模型更高效地处理和生成复杂的手势序列。
  • 全局运动预测器:除局部动作的生成,基于预训练的全局运动预测器估计身体的全局平移(如行走、转身等),让生成的手势在局部动作上自然,整体运动也更加连贯和真实。

EMAGE的项目地址

  • 项目官网:https://pantomatrix.github.io/EMAGE
  • GitHub仓库:https://github.com/PantoMatrix/EMAGE
  • arXiv技术论文:https://arxiv.org/pdf/2401.00374
  • 在线体验Demo:https://huggingface.co/spaces/H-Liu1997/EMAGE

EMAGE的应用场景

  • 虚拟现实(VR)与增强现实(AR):生成虚拟角色的自然手势和表情,提升虚拟社交、虚拟会议、虚拟游戏等场景中的交互体验,让虚拟角色更加生动逼真。
  • 动画制作:辅助动画电影、电视剧及动态广告的制作,根据对话内容自动生成角色手势和表情,减少动画师工作量,提高制作效率。
  • 虚拟客服与数字人:为在线客服、智能助手等创建自然流畅的手势和表情,在与用户交流时更具亲和力和真实感,提升用户体验。
  • 教育与培训:在教育领域,虚拟教师根据讲解内容生成相应手势,帮助学生更好地理解知识;在培训场景中,生成逼真的操作演示手势,辅助教学。
  • 娱乐行业:在游戏开发中,根据角色语音生成匹配的手势和表情,增强游戏的沉浸感和真实感。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
EMAGE主要解决什么问题?

EMAGE主要解决“音频如何驱动自然全身手势生成”的问题。它不仅生成与语音同步的手势,还能结合部分手势提示补全完整动作,并覆盖面部、上肢、下肢和全局运动。

EMAGE和普通手势生成模型有什么区别?

区别在于EMAGE强调全身级生成与部分手势重建联合训练。它用掩蔽机制学习音频与手势映射,并通过多个预训练VQ-VAE分别建模不同身体部位,生成结果更完整、更自然。

EMAGE适合哪些应用场景?

适合VR/AR虚拟角色、动画制作、虚拟客服与数字人、教育培训和游戏等场景。凡是需要根据语音自动生成自然表情和肢体动作的任务,都能从中受益。

🔬 语宙深潜追问 · 进阶实操拆解
EMAGE 适合先落地哪些应用?

适合虚拟主播、数字人演讲、教育讲解和影视预演。因为这些场景对“说话时的身体表达”需求明确,且可接受一定风格化动作,便于快速验证效果。

音频驱动手势生成如何避免动作僵硬?

要把节奏、重音和停顿显式编码进特征,再用分层生成分别控制全局姿态、手臂和面部。上线时还应加入动作平滑与碰撞约束,减少抖动。

🗳️ 读者观点微投票 · 您的实战立场是?
全身共语手势生成,最难的是哪步?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • MDT-A2G – 复旦&腾讯优图推出的AI模型,可根据语音同步生成手势
  • EMO2 – 阿里研究院推出的音频驱动头像视频生成技术
  • EchoMimicV2 – 阿里推出的开源数字人项目,能生成完整数字人半身动画
  • 美团LongCat开源:音频驱动数字人视频生成模型,超逼真口型同步、长视频稳定生成
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
LlamaIndex 数据摄入管道 [译]
GenXD – 新加坡国立和微软共同推出的通用3D和4D联合生成框架
WorldSense – 小红书联合上海交大推出的多模态全面评测新基准
Slazzer图像背景去除
CogVideoX v1.5 – 智谱最新开源的AI视频生成模型
TAGGED:3D与空间智能AI音频与语音HuggingFace开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 ARTalk – 东京大学等机构推出的3D头部动画生成框架 ARTalk – 东京大学等机构推出的3D头部动画生成框架
下一篇 VisoMaster – AI换脸和编辑软件,支持图片和视频高质量换脸 VisoMaster – AI换脸和编辑软件,支持图片和视频高质量换脸
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

Tailor – 免费开源的AI视频编辑工具
AIGC 资讯

Tailor – 免费开源的AI视频编辑工具

Prompt 语宙研究院
AI视频生成 AI音频与语音 开源大模型
Vmake Video Enhancer
AI 工具

Vmake Video Enhancer

remaker
AI办公效率 AI视频生成 AI音频与语音
Florence-2 – 微软 Azure AI 团队推出的多功能视觉语言模型
AIGC 资讯

Florence-2 – 微软 Azure AI 团队推出的多功能视觉语言模型

Prompt 语宙研究院
AI智能体 HuggingFace 开源大模型
Agents-A1 – 上海 AI Lab开源的混合专家智能体模型
AIGC 资讯

Agents-A1 – 上海 AI Lab开源的混合专家智能体模型

Prompt 语宙研究院
AI智能体 AI编程 HuggingFace 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.