---
title: "MDT-A2G – 复旦&腾讯优图推出的AI模型，可根据语音同步生成手势"
url: "https://paooo.com/aigc-news/27542/"
author: "Prompt 语宙研究院"
published_at: "2026-07-19T05:18:29+08:00"
updated_at: "2026-07-19T05:18:29+08:00"
categories: "AIGC 资讯"
tags: "AI智能体, AI音频与语音, HuggingFace, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# MDT-A2G – 复旦&腾讯优图推出的AI模型，可根据语音同步生成手势

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/27542/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-19

## AI 30 秒核心看点 (TL;DR)

- 复旦×腾讯优图推出 MDT-A2G，可根据语音内容同步生成自然手势。
- 模型融合语音、文本、情感等多模态信息，并通过去噪与加速采样提升连贯性和生成效率。
- 适合虚拟助手、教学培训、客服与无障碍交流等需要增强非语言表达的场景。

## MDT-A2G是什么

MDT-A2G是复旦大学和腾讯优图联合推出的AI模型，专门用于根据语音内容同步生成相应的手势动作。MDT-A2G模仿人类在交流时自然产生的手势，计算机能更加生动和自然地进行”表演”。MDT-A2G用语音、文本、情感等多种信息进行综合分析，通过去噪和加速采样等技术，生成连贯逼真的手势序列。

## MDT-A2G的主要功能

- **多模态信息融合**：结合语音、文本、情感等多种信息源，进行综合分析，生成与语音同步的手势。

- **去噪处理**：通过去噪技术，修正和优化手势动作，确保生成的手势动作准确且自然。

- **加速采样**：采用高效的推理策略，利用先前计算的结果来减少去噪计算量，实现快速生成。

- **时间对齐的上下文推理**：强化手势序列之间的时间关系学习，产生连贯且逼真的动作。

## MDT-A2G的技术原理

- **多模态特征提取**：模型从语音、文本、情感等多种信息源中提取特征。涉及到语音识别技术来转换语音为文本，以及情感分析来识别说话人的情绪状态。

- **掩蔽扩散变换器**：MDT-A2G使用一种新型的掩蔽扩散变换器结构。通过在数据中引入随机性，然后逐步去除这些随机性来生成目标输出，类似于去噪过程。

- **时间对齐和上下文推理**：模型需要理解语音和手势之间的时间关系，确保手势与语音同步。涉及到序列模型，能够处理时间序列数据并学习时间依赖性。

- **加速采样过程**：为了提高生成效率，MDT-A2G采用了一种缩放感知的加速采样过程。模型用先前计算的结果来减少后续的计算量，从而加快手势生成的速度。

- **特征融合策略**：模型采用创新的特征融合策略，将时间嵌入与情感和身份特征结合起来，并与文本、音频和手势特征相结合，产生全面的特征表示。

- **去噪过程**：在生成手势的过程中，模型会逐步去除噪声，优化手势动作，确保生成的手势既准确又自然。

## MDT-A2G的项目地址

- 
**GitHub****仓库**：[https://github.com/sail-sg/MDT](https://github.com/sail-sg/MDT)

- 
**Hugging Face模型库**：[https://huggingface.co/spaces/shgao/MDT](https://huggingface.co/spaces/shgao/MDT)

- 
**arXiv****技术论文**：[https://arxiv.org/pdf/2408.03312](https://arxiv.org/pdf/2408.03312)

## MDT-A2G的应用场景

- **增强交互体验**：虚拟助手可通过MDT-A2G模型生成的手势来增强与用户的非语言交流，对话更加自然和人性化。

- **教育和培训**：虚拟教师或培训助手可以用手势来辅助教学，提高学习效率和参与度。

- **客户服务**：在客户服务场景中，虚拟客服助手可以通过手势来更清晰地表达信息，提高服务质量和用户满意度。

- **辅助残障人士**：对于听力或语言障碍人士，虚拟助手可以通过手势来提供更易于理解的交流方式。

## 常见问题解答 (FAQ)

### MDT-A2G是什么模型？
MDT-A2G是复旦大学和腾讯优图联合推出的AI模型，核心能力是根据语音内容同步生成手势动作。它结合语音、文本、情感等信息，生成更自然、连贯的非语言表达，适合虚拟人和交互系统使用。

### MDT-A2G生成手势的技术原理是什么？
它采用多模态特征提取、掩蔽扩散变换器、时间对齐上下文推理和加速采样等方法。模型会逐步去噪并融合音频、文本、情感与身份特征，从而生成与语音同步的手势序列。

### MDT-A2G适合哪些应用场景？
文章提到的场景包括增强交互体验的虚拟助手、教育和培训中的虚拟教师、客户服务中的虚拟客服，以及辅助听力或语言障碍人士的交流场景。其重点是让表达更自然、更易理解。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
