# EzAudio – 腾讯联合约翰霍普金斯大学推出的文本到音频生成模型

- Link: https://paooo.com/aigc-news/26661/
- Published: 2026-07-09T03:58:26+08:00
- Author: 站外新闻

##  EzAudio是什么

EzAudio是由约翰霍普金斯大学和腾讯AI实验室共同推出的一款文本到音频（Text-to-Audio,
T2A）生成模型。基于一种高效的扩散变换器技术，用在从文本提示生成高质量的音频效果。
EzAudio的创新之处在于优化的模型架构和数据高效训练策略，在生成速度、效率和音频真实
感方面都达到新标准。EzAudio引入无分类器引导重缩放技术，简化模型使用保持音频质量。

![EzAudio](https://paooo.com/wp-content/uploads/2026/07/EzAudio-website-1.avif)

##  EzAudio的主要功能

 * **文本到音频生成**：根据给定的文本提示生成相应的音频内容。
 * **高效率**：优化的模型架构减少计算资源的需求，提高生成速度。
 * **高质量音频**：生成的音频具有高保真度，提供逼真的听觉体验。
 * **数据高效训练**：基于未标记数据和人工标记数据，提高训练效率和模型性能。

##  EzAudio的技术原理

 * **波形VAE**：基于一维波形变分自动编码器（VAE）处理音频数据，避免处理二维频谱图
   的复杂性，减少计算成本，同时保持高时间分辨率。
 * **优化的扩散变换器架构（EzAudio-DiT）**：定制的扩散模型，包括AdaLN-SOLA和长跳跃
   连接，提高模型的参数和内存效率，同时保持训练的稳定性。
 * **多阶段训练策略**：结合自监督学习和监督学习，用掩码扩散建模和合成字幕数据进行
   训练，最后在人工标注数据上微调，提高音频生成的准确性和质量。
 * **无分类器引导重缩放（CFG Rescaling）**：在扩散采样过程中调整引导强度，优化文本
   到音频的对齐，减少对音频质量的负面影响。

##  EzAudio的项目地址

 * **项目官网**：[haidog-yaqub.github.io/EzAudio-Page](https://haidog-yaqub.github.io/EzAudio-Page/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/haidog-yaqub/EzAudio](https://github.com/haidog-yaqub/EzAudio)
 * **技术论文**：[https://haidog-yaqub.github.io/EzAudio-Page/static/pdf/ezaudio.pdf](https://haidog-yaqub.github.io/EzAudio-Page/static/pdf/ezaudio.pdf)

##  EzAudio的应用场景

 * **音乐创作**：根据文本描述生成特定风格或情感的音乐片段，辅助音乐家和制作人进行
   创作。
 * **影视后期制作**：为电影、电视剧或视频游戏生成逼真的音效和配音，提高观众的沉浸
   感。
 * **语音合成**：生成标准或特定语调的语音，用在教育软件、有声读物或语言学习应用。
 * **音频编辑**：对现有音频进行编辑和修改，无需复杂的音频编辑工具。
 * **虚拟助手和聊天机器人**：为虚拟助手和聊天机器人生成自然听起来的语音响应。
 * **有声内容创作**：自动生成有声博客、播客或新闻内容的音频。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)