# MDT-A2G – 复旦&腾讯优图推出的AI模型，可根据语音同步生成手势

- Link: https://paooo.com/aigc-news/27542/
- Published: 2026-07-19T05:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 复旦×腾讯优图推出 MDT-A2G，可根据语音内容同步生成自然手势。
 * 模型融合语音、文本、情感等多模态信息，并通过去噪与加速采样提升连贯性和生成效率。
 * 适合虚拟助手、教学培训、客服与无障碍交流等需要增强非语言表达的场景。

## MDT-A2G是什么

MDT-A2G是复旦大学和腾讯优图联合推出的AI模型，专门用于根据语音内容同步生成相应的手势
动作。MDT-A2G模仿人类在交流时自然产生的手势，计算机能更加生动和自然地进行”表演”。
MDT-A2G用语音、文本、情感等多种信息进行综合分析，通过去噪和加速采样等技术，生成连贯
逼真的手势序列。

阅读目录

 * [MDT-A2G是什么](https://paooo.com/aigc-news/27542/#mdta2g%e6%98%af%e4%bb%80%e4%b9%88)
 * [MDT-A2G的主要功能](https://paooo.com/aigc-news/27542/#mdta2g%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MDT-A2G的技术原理](https://paooo.com/aigc-news/27542/#mdta2g%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MDT-A2G的项目地址](https://paooo.com/aigc-news/27542/#mdta2g%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MDT-A2G的应用场景](https://paooo.com/aigc-news/27542/#mdta2g%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MDT-A2G](https://paooo.com/wp-content/uploads/2026/07/MDT-A2G-website01-1.avif)

## MDT-A2G的主要功能

 * **多模态信息融合**：结合语音、文本、情感等多种信息源，进行综合分析，生成与语音
   同步的手势。
 * **去噪处理**：通过去噪技术，修正和优化手势动作，确保生成的手势动作准确且自然。
 * **加速采样**：采用高效的推理策略，利用先前计算的结果来减少去噪计算量，实现快速
   生成。
 * **时间对齐的上下文推理**：强化手势序列之间的时间关系学习，产生连贯且逼真的动作。

## MDT-A2G的技术原理

 * **多模态特征提取**：模型从语音、文本、情感等多种信息源中提取特征。涉及到语音识别
   技术来转换语音为文本，以及情感分析来识别说话人的情绪状态。
 * **掩蔽扩散变换器**：MDT-A2G使用一种新型的掩蔽扩散变换器结构。通过在数据中引入
   随机性，然后逐步去除这些随机性来生成目标输出，类似于去噪过程。
 * **时间对齐和上下文推理**：模型需要理解语音和手势之间的时间关系，确保手势与语音
   同步。涉及到序列模型，能够处理时间序列数据并学习时间依赖性。
 * **加速采样过程**：为了提高生成效率，MDT-A2G采用了一种缩放感知的加速采样过程。
   模型用先前计算的结果来减少后续的计算量，从而加快手势生成的速度。
 * **特征融合策略**：模型采用创新的特征融合策略，将时间嵌入与情感和身份特征结合起来，
   并与文本、音频和手势特征相结合，产生全面的特征表示。
 * **去噪过程**：在生成手势的过程中，模型会逐步去除噪声，优化手势动作，确保生成的
   手势既准确又自然。

![MDT-A2G](https://paooo.com/wp-content/uploads/2026/07/MDT-A2G-website.avif)

## MDT-A2G的项目地址

 * **GitHub****仓库**：[https://github.com/sail-sg/MDT](https://github.com/sail-sg/MDT)
 * **Hugging Face模型库**：[https://huggingface.co/spaces/shgao/MDT](https://huggingface.co/spaces/shgao/MDT)
 * **arXiv****技术论文**：[https://arxiv.org/pdf/2408.03312](https://arxiv.org/pdf/2408.03312)

## MDT-A2G的应用场景

 * **增强交互体验**：虚拟助手可通过MDT-A2G模型生成的手势来增强与用户的非语言交流，
   对话更加自然和人性化。
 * **教育和培训**：虚拟教师或培训助手可以用手势来辅助教学，提高学习效率和参与度。
 * **客户服务**：在客户服务场景中，虚拟客服助手可以通过手势来更清晰地表达信息，提高
   服务质量和用户满意度。
 * **辅助残障人士**：对于听力或语言障碍人士，虚拟助手可以通过手势来提供更易于理解
   的交流方式。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

MDT-A2G是什么模型？

MDT-A2G是复旦大学和腾讯优图联合推出的AI模型，核心能力是根据语音内容同步生成手势动作。
它结合语音、文本、情感等信息，生成更自然、连贯的非语言表达，适合虚拟人和交互系统
使用。

MDT-A2G生成手势的技术原理是什么？

它采用多模态特征提取、掩蔽扩散变换器、时间对齐上下文推理和加速采样等方法。模型会
逐步去噪并融合音频、文本、情感与身份特征，从而生成与语音同步的手势序列。

MDT-A2G适合哪些应用场景？

文章提到的场景包括增强交互体验的虚拟助手、教育和培训中的虚拟教师、客户服务中的虚拟
客服，以及辅助听力或语言障碍人士的交流场景。其重点是让表达更自然、更易理解。

🔬 语宙深潜追问 · 进阶实操拆解

MDT-A2G 适合实时对话吗？

如果目标是虚拟人播报或客服演示，可以接近实时；但若要高保真、强情感和复杂手势，通常
仍需一定生成时延。落地时要在帧率、动作平滑度和语音延迟之间做取舍。

手势生成如何避免“机械感”？

关键是引入语义节奏、情感强度和停顿信息，而不是只对齐音素。训练时要覆盖多说话风格，
并在后处理里加入速度平滑、关节约束和动作多样性控制，减少重复模板感。

🗳️ 读者观点微投票 · 您的实战立场是？

语音手势生成，最难的是同步还是自然？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [美团LongCat开源：音频驱动数字人视频生成模型，超逼真口型同步、长视频稳定生成](https://paooo.com/aigc-news/12705/)
 * [EDTalk – 上海交大联合网易推出高效解耦的情感说话头像合成模型](https://paooo.com/aigc-news/24523/)
 * [ARTalk – 东京大学等机构推出的3D头部动画生成框架](https://paooo.com/aigc-news/21394/)
 * [The Language of Motion – 斯坦福李飞飞团队推出的统一多模态语言模型](https://paooo.com/aigc-news/24532/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/27542/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
