# AudioX – 港科大联合月之暗面推出的扩散变换器模型，任意内容生成音频

- Link: https://paooo.com/aigc-news/20985/
- Published: 2026-06-08T22:17:26+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 统一扩散变换器架构，支持文本、视频、图像到音频及音乐生成。
 * 多模态掩码训练增强跨模态理解，零样本生成与泛化能力表现突出。
 * 可用于视频配乐、动画音效、音乐创作与音频修复，实用性强。

## AudioX是什么

AudioX 是香港科技大学和月之暗面联合提出的统一扩散变压器模型，专门用于从任意内容生成
音频和音乐。模型能处理多种输入模态，包括文本、视频、图像、音乐和音频，生成高质量
的音频输出。核心创新在于多模态掩码训练策略，通过随机掩码输入模态，迫使模型从不完整
的输入中学习，增强跨模态表示能力。

阅读目录

 * [AudioX是什么](https://paooo.com/aigc-news/20985/#audiox%e6%98%af%e4%bb%80%e4%b9%88)
 * [AudioX的主要功能](https://paooo.com/aigc-news/20985/#audiox%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [AudioX的技术原理](https://paooo.com/aigc-news/20985/#audiox%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [AudioX的项目地址](https://paooo.com/aigc-news/20985/#audiox%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [AudioX的应用场景](https://paooo.com/aigc-news/20985/#audiox%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![AudioX](https://paooo.com/wp-content/uploads/2026/06/AudioX-website-1.avif)

## AudioX的主要功能

 * **多模态输入支持**
    - **文本到音频（Text-to-Audio）**：根据文本描述生成相应的音效。例如，输入“狗吠
      声”，模型可以生成狗吠的音频。
    - **视频到音频（Video-to-Audio）**：根据视频内容生成与之匹配的音效。例如，输入
      一个汽车行驶的视频，模型可以生成汽车发动机的声音。
    - **图像到音频（Image-to-Audio）**：根据图像内容生成相应的音效。例如，输入一张
      暴风雨的图片，模型可以生成暴风雨的声音。
    - **音乐生成（Music Generation）**：根据文本描述或视频内容生成音乐。例如，输入“
      轻松的钢琴曲”，模型可以生成一段轻松的钢琴音乐。
    - **音频修复（Audio Inpainting）**：根据上下文信息修复音频中的缺失部分。例如，
      输入一段有空白的音频，模型可以填补空白部分，使音频完整。
    - **音乐补全（Music Completion）**：根据给定的音乐片段生成后续部分。例如，输入
      一段音乐的开头，模型可以生成后续的音乐片段。
 * **高质量音频生成**：AudioX 使用扩散模型（Diffusion Model）技术，能生成高质量、
   高保真的音频和音乐，确保生成的音频在音质和细节上接近真实音频。
 * **灵活的自然语言控制**：用户可以通过自然语言描述来精确控制生成的音频内容。例如，
   用户可以指定音效的类型、音乐的风格、乐器的使用等，使生成的音频更符合需求。
 * **跨模态学习能力**：AudioX 能处理多种模态的输入，将它们有效整合，生成与输入条件
   一致的音频。例如，同时输入文本和视频，模型可以综合考虑两者的语义信息，生成更贴
   合场景的音频。
 * **强大的泛化能力**：在多个数据集和任务上表现出色，包括 AudioCaps、VGGSound、MusicCaps、
   V2M-bench 等，证明了其在不同场景下的泛化能力和适应性。
 * **零样本生成能力**：没有针对特定模态（如图像）的专门训练，AudioX 能在零样本条件下
   生成高质量的音频，展示了强大的通用生成能力。

## AudioX的技术原理

 * **扩散模型（Diffusion Model）**：AudioX 使用扩散模型的核心思想，将输入数据逐步
   添加噪声，然后通过一个逆向过程逐步去除噪声，最终生成高质量的音频或音乐。
    - **前向扩散过程**：将输入数据逐步添加高斯噪声，生成一系列含噪的潜变量。
    - **反向去噪过程**：通过训练一个去噪网络（通常是一个 Transformer），逐步去除
      噪声，重建干净的音频数据。
 * **多模态掩码训练策略**：为了增强模型的跨模态学习能力，AudioX 采用了多模态掩码
   训练策略。在训练过程中，模型会随机掩码部分输入模态，迫使模型从不完整的输入中学习，
   提高模型的鲁棒性和泛化能力。
 * **多模态编码器和解码器**：AudioX 集成了多种专用编码器，分别处理不同模态的输入
   数据，然后将这些编码后的特征融合到一个统一的潜空间中。
    - **视频编码器**：使用 CLIP-ViT-B/32 提取视频帧的特征。
    - **文本编码器**：使用 T5-base 提取文本的特征。
    - **音频编码器**：使用自编码器提取音频的特征。
    - **特征融合**：将不同模态的特征通过线性变换和连接操作融合到一个统一的多模态
      嵌入向量中。
 * **扩散过程中的条件嵌入**：在扩散过程中，多模态嵌入向量作为条件输入，帮助模型生成
   与输入条件一致的音频或音乐。将融合后的多模态特征与扩散时间步一起输入到扩散模型
   中。通过逐步去除噪声，生成与输入条件匹配的高质量音频或音乐。
 * **数据集和训练**：为了训练 AudioX，研究人员构建了两个大规模的多模态数据集：vggsound-
   caps，基于 VGGSound 数据集，包含 190K 音频字幕。V2M-caps，基于 V2M 数据集，包含
   600 万音乐字幕。

## AudioX的项目地址

 * **项目官网**：[https://zeyuet.github.io/AudioX/](https://zeyuet.github.io/AudioX/?utm_source=ai-bot.cn)
 * **Github仓库**：[https://github.com/ZeyueT/AudioX](https://github.com/ZeyueT/AudioX)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2503.10522](https://arxiv.org/pdf/2503.10522)

## AudioX的应用场景

 * **视频配乐**：根据视频内容自动生成背景音乐或音效，提升视频的吸引力和情感共鸣。
 * **动画音效**：为动画场景生成匹配的音效，如脚步声、风声、爆炸声等，增强动画的沉浸
   感。
 * **音乐生成**：根据文本描述或风格要求生成音乐，为音乐创作者提供灵感或辅助创作。
 * **语言学习**：生成与语言学习内容相关的音效或背景音乐，增强学习体验。

❓ 常见问题解答（FAQ）

AudioX是什么模型？

AudioX 是香港科技大学和月之暗面联合提出的统一扩散变换器模型，面向任意内容生成音频
与音乐。它支持文本、视频、图像、音乐和音频等多模态输入，并可用于生成、补全和修复
音频。

AudioX支持哪些音频生成任务？

AudioX 支持文本到音频、视频到音频、图像到音频、音乐生成、音频修复和音乐补全等任务。
它还能通过自然语言控制音效类型、音乐风格和乐器选择，适合多种创作场景。

AudioX的核心技术优势是什么？

核心优势是扩散模型结合多模态掩码训练策略。模型通过随机掩码部分输入模态，学习从不
完整信息中生成音频，从而提升跨模态表示能力、鲁棒性和零样本泛化表现。

🔬 语宙深潜追问 · 进阶实操拆解

多模态掩码训练怎么落地到自有数据？

先把文本、图像、视频、音乐、音频统一成可掩码的样本对，再按任务设计缺失模态组合。
关键是控制噪声标注比例，并用小规模验证集先看零样本迁移，再逐步扩到修复、补全和生成
任务。

音频修复和音乐补全该怎么评估效果？

别只看主观试听，建议同时做客观指标和人工盲测。修复看信噪比、失真和时序连续性；音乐
补全看和声一致性、节拍对齐与风格保持。最好按真实业务场景拆分评测集，避免只在合成
数据上好看。

🗳️ 读者观点微投票 · 您的实战立场是？

多模态音频生成，先押通用模型还是专用管线？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [AudioX-Turbo – Noiz AI 联合清华推出的音频生成框架](https://paooo.com/aigc-news/24245/)
 * [科大讯飞开源10亿参数音频生成模型AudioFly：文本秒生44.1kHz高清音效，多场景创作利器](https://paooo.com/aigc-news/13532/)
 * [EzAudio – 腾讯联合约翰霍普金斯大学推出的文本到音频生成模型](https://paooo.com/aigc-news/26661/)
 * [腾讯AI Lab发布AudioGenie：革命性无训练多智能体框架，实现多模态输入到高质量音频的精准生成](https://paooo.com/aigc-news/14070/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/20985/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
