# EMAGE – 清华联合东大等机构推出的音频生成全身共语手势框架

- Link: https://paooo.com/aigc-news/22318/
- Published: 2026-06-09T01:23:21+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于音频与部分手势提示，EMAGE可生成同步的全身共语手势，覆盖表情、肢体与全局位移。
 * 采用掩蔽音频手势变换器联合训练生成与重建任务，增强对音频语义和局部动作的联合建
   模能力。
 * 通过多组预训练VQ-VAE与全局运动预测器，兼顾局部细节、多样性和整体运动连贯性。

## EMAGE是什么

EMAGE（Expressive Masked Audio-conditioned GEsture modeling）是清华大学、东京大学、
庆应义塾大学等机构推出的生成全身共语手势框架。EMAGE能根据音频和部分遮蔽的手势输入，
生成与音频同步的完整全身手势，包括面部表情、身体动作、手势和全局运动。EMAGE基于掩蔽
音频手势变换器实现音频到手势的生成和掩蔽手势重建的联合训练，有效编码音频和身体手势
提示。EMAGE用四个组合的预训练VQ-VAE（Vector Quantized Variational AutoEncoders）
解码局部面部和身体动作，基于预训练的全局运动预测器解码全局平移。

阅读目录

 * [EMAGE是什么](https://paooo.com/aigc-news/22318/#emage%e6%98%af%e4%bb%80%e4%b9%88)
 * [EMAGE的主要功能](https://paooo.com/aigc-news/22318/#emage%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [EMAGE的技术原理](https://paooo.com/aigc-news/22318/#emage%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [EMAGE的项目地址](https://paooo.com/aigc-news/22318/#emage%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [EMAGE的应用场景](https://paooo.com/aigc-news/22318/#emage%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![EMAGE](https://paooo.com/wp-content/uploads/2026/06/EMAGE-website-1.avif)

## EMAGE的主要功能

 * **生成与音频同步的手势**：根据输入的音频信号，生成与音频节奏和语义相匹配的全身
   手势。
 * **接受部分预定义手势输入**：基于用户提供的部分手势（如特定动作或姿势）作为提示，
   生成完整的、自然的手势序列。
 * **生成多样化的手势**：组合多个预训练的VQ-VAE（向量量化变分自编码器），生成丰富
   多样的手势动作，避免单一和重复的结果。
 * **支持全身手势生成**：支持生成面部和上肢动作和下肢和全局运动，实现更自然、完整
   的人体动画效果。

## EMAGE的技术原理

 * **掩蔽音频手势变换器**：在训练过程中，部分手势数据被随机遮蔽，模型基于音频和其他
   未遮蔽的手势信息预测遮蔽部分。掩蔽机制类似于自然语言处理中的BERT模型，能增强模型
   对局部和全局信息的理解能力。进行音频到手势生成和掩蔽手势重建的训练，让模型能够
   更好地学习音频与手势之间的映射关系，同时利用已有的手势信息（即使部分被遮蔽）来
   生成更准确的手势。
 * **音频特征融合**：将音频的节奏特征（如音调的起伏、节奏的强弱）和内容特征（如文本
   转录的词嵌入）结合起来，使生成的手势既能反映音频的节奏，能与语义相关联。例如，
   在提到“走路”时，模型可以生成相应的行走手势。
 * **预训练的VQ-VAE**：将身体的不同部分（如面部、上肢、下肢）分别用独立的VQ-VAE建
   模，每个VQ-VAE负责生成特定部分的动作。这种分段建模方式能更好地捕捉不同身体部位
   与音频之间的独特关系，提高生成手势的准确性和多样性。
 * **离散表示学习**：基于VQ-VAE将连续的手势动作转换为离散的表示，便于模型学习和生成。
   这种离散表示类似于语言中的词汇，让模型更高效地处理和生成复杂的手势序列。
 * **全局运动预测器**：除局部动作的生成，基于预训练的全局运动预测器估计身体的全局
   平移（如行走、转身等），让生成的手势在局部动作上自然，整体运动也更加连贯和真实。

## EMAGE的项目地址

 * **项目官网**：[https://pantomatrix.github.io/EMAGE](https://pantomatrix.github.io/EMAGE/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/PantoMatrix/EMAGE](https://github.com/PantoMatrix/EMAGE)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2401.00374](https://arxiv.org/pdf/2401.00374)
 * **在线体验Demo**：[https://huggingface.co/spaces/H-Liu1997/EMAGE](https://huggingface.co/spaces/H-Liu1997/EMAGE)

## EMAGE的应用场景

 * **虚拟现实（VR）与增强现实（AR）**：生成虚拟角色的自然手势和表情，提升虚拟社交、
   虚拟会议、虚拟游戏等场景中的交互体验，让虚拟角色更加生动逼真。
 * **动画制作**：辅助动画电影、电视剧及动态广告的制作，根据对话内容自动生成角色手势
   和表情，减少动画师工作量，提高制作效率。
 * **虚拟客服与数字人**：为在线客服、智能助手等创建自然流畅的手势和表情，在与用户
   交流时更具亲和力和真实感，提升用户体验。
 * **教育与培训**：在教育领域，虚拟教师根据讲解内容生成相应手势，帮助学生更好地理解
   知识；在培训场景中，生成逼真的操作演示手势，辅助教学。
 * **娱乐行业**：在游戏开发中，根据角色语音生成匹配的手势和表情，增强游戏的沉浸感
   和真实感。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

EMAGE主要解决什么问题？

EMAGE主要解决“音频如何驱动自然全身手势生成”的问题。它不仅生成与语音同步的手势，还
能结合部分手势提示补全完整动作，并覆盖面部、上肢、下肢和全局运动。

EMAGE和普通手势生成模型有什么区别？

区别在于EMAGE强调全身级生成与部分手势重建联合训练。它用掩蔽机制学习音频与手势映射，
并通过多个预训练VQ-VAE分别建模不同身体部位，生成结果更完整、更自然。

EMAGE适合哪些应用场景？

适合VR/AR虚拟角色、动画制作、虚拟客服与数字人、教育培训和游戏等场景。凡是需要根据
语音自动生成自然表情和肢体动作的任务，都能从中受益。

🔬 语宙深潜追问 · 进阶实操拆解

EMAGE 适合先落地哪些应用？

适合虚拟主播、数字人演讲、教育讲解和影视预演。因为这些场景对“说话时的身体表达”需求
明确，且可接受一定风格化动作，便于快速验证效果。

音频驱动手势生成如何避免动作僵硬？

要把节奏、重音和停顿显式编码进特征，再用分层生成分别控制全局姿态、手臂和面部。上线
时还应加入动作平滑与碰撞约束，减少抖动。

🗳️ 读者观点微投票 · 您的实战立场是？

全身共语手势生成，最难的是哪步？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [MDT-A2G – 复旦&腾讯优图推出的AI模型，可根据语音同步生成手势](https://paooo.com/aigc-news/27542/)
 * [EMO2 – 阿里研究院推出的音频驱动头像视频生成技术](https://paooo.com/aigc-news/22606/)
 * [EchoMimicV2 – 阿里推出的开源数字人项目，能生成完整数字人半身动画](https://paooo.com/aigc-news/25387/)
 * [美团LongCat开源：音频驱动数字人视频生成模型，超逼真口型同步、长视频稳定生成](https://paooo.com/aigc-news/12705/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22318/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
