Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: AudioX – 港科大联合月之暗面推出的扩散变换器模型,任意内容生成音频
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
AudioX – 港科大联合月之暗面推出的扩散变换器模型,任意内容生成音频
Prompt 语宙 > AIGC 资讯 > AudioX – 港科大联合月之暗面推出的扩散变换器模型,任意内容生成音频
AIGC 资讯

AudioX – 港科大联合月之暗面推出的扩散变换器模型,任意内容生成音频

Prompt 语宙研究院
最近更新: 2026年6月8日 下午10:17
AI视频生成 AI音频与语音 Kimi 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 统一扩散变换器架构,支持文本、视频、图像到音频及音乐生成。
  • 多模态掩码训练增强跨模态理解,零样本生成与泛化能力表现突出。
  • 可用于视频配乐、动画音效、音乐创作与音频修复,实用性强。

AudioX是什么

AudioX 是香港科技大学和月之暗面联合提出的统一扩散变压器模型,专门用于从任意内容生成音频和音乐。模型能处理多种输入模态,包括文本、视频、图像、音乐和音频,生成高质量的音频输出。核心创新在于多模态掩码训练策略,通过随机掩码输入模态,迫使模型从不完整的输入中学习,增强跨模态表示能力。

阅读目录
  • AudioX是什么
  • AudioX的主要功能
  • AudioX的技术原理
  • AudioX的项目地址
  • AudioX的应用场景

AudioX

AudioX的主要功能

  • 多模态输入支持
    • 文本到音频(Text-to-Audio):根据文本描述生成相应的音效。例如,输入“狗吠声”,模型可以生成狗吠的音频。
    • 视频到音频(Video-to-Audio):根据视频内容生成与之匹配的音效。例如,输入一个汽车行驶的视频,模型可以生成汽车发动机的声音。
    • 图像到音频(Image-to-Audio):根据图像内容生成相应的音效。例如,输入一张暴风雨的图片,模型可以生成暴风雨的声音。
    • 音乐生成(Music Generation):根据文本描述或视频内容生成音乐。例如,输入“轻松的钢琴曲”,模型可以生成一段轻松的钢琴音乐。
    • 音频修复(Audio Inpainting):根据上下文信息修复音频中的缺失部分。例如,输入一段有空白的音频,模型可以填补空白部分,使音频完整。
    • 音乐补全(Music Completion):根据给定的音乐片段生成后续部分。例如,输入一段音乐的开头,模型可以生成后续的音乐片段。
  • 高质量音频生成:AudioX 使用扩散模型(Diffusion Model)技术,能生成高质量、高保真的音频和音乐,确保生成的音频在音质和细节上接近真实音频。
  • 灵活的自然语言控制:用户可以通过自然语言描述来精确控制生成的音频内容。例如,用户可以指定音效的类型、音乐的风格、乐器的使用等,使生成的音频更符合需求。
  • 跨模态学习能力:AudioX 能处理多种模态的输入,将它们有效整合,生成与输入条件一致的音频。例如,同时输入文本和视频,模型可以综合考虑两者的语义信息,生成更贴合场景的音频。
  • 强大的泛化能力:在多个数据集和任务上表现出色,包括 AudioCaps、VGGSound、MusicCaps、V2M-bench 等,证明了其在不同场景下的泛化能力和适应性。
  • 零样本生成能力:没有针对特定模态(如图像)的专门训练,AudioX 能在零样本条件下生成高质量的音频,展示了强大的通用生成能力。

AudioX的技术原理

  • 扩散模型(Diffusion Model):AudioX 使用扩散模型的核心思想,将输入数据逐步添加噪声,然后通过一个逆向过程逐步去除噪声,最终生成高质量的音频或音乐。
    • 前向扩散过程:将输入数据逐步添加高斯噪声,生成一系列含噪的潜变量。
    • 反向去噪过程:通过训练一个去噪网络(通常是一个 Transformer),逐步去除噪声,重建干净的音频数据。
  • 多模态掩码训练策略:为了增强模型的跨模态学习能力,AudioX 采用了多模态掩码训练策略。在训练过程中,模型会随机掩码部分输入模态,迫使模型从不完整的输入中学习,提高模型的鲁棒性和泛化能力。
  • 多模态编码器和解码器:AudioX 集成了多种专用编码器,分别处理不同模态的输入数据,然后将这些编码后的特征融合到一个统一的潜空间中。
    • 视频编码器:使用 CLIP-ViT-B/32 提取视频帧的特征。
    • 文本编码器:使用 T5-base 提取文本的特征。
    • 音频编码器:使用自编码器提取音频的特征。
    • 特征融合:将不同模态的特征通过线性变换和连接操作融合到一个统一的多模态嵌入向量中。
  • 扩散过程中的条件嵌入:在扩散过程中,多模态嵌入向量作为条件输入,帮助模型生成与输入条件一致的音频或音乐。将融合后的多模态特征与扩散时间步一起输入到扩散模型中。通过逐步去除噪声,生成与输入条件匹配的高质量音频或音乐。
  • 数据集和训练:为了训练 AudioX,研究人员构建了两个大规模的多模态数据集:vggsound-caps,基于 VGGSound 数据集,包含 190K 音频字幕。V2M-caps,基于 V2M 数据集,包含 600 万音乐字幕。

AudioX的项目地址

  • 项目官网:https://zeyuet.github.io/AudioX/
  • Github仓库:https://github.com/ZeyueT/AudioX
  • arXiv技术论文:https://arxiv.org/pdf/2503.10522

AudioX的应用场景

  • 视频配乐:根据视频内容自动生成背景音乐或音效,提升视频的吸引力和情感共鸣。
  • 动画音效:为动画场景生成匹配的音效,如脚步声、风声、爆炸声等,增强动画的沉浸感。
  • 音乐生成:根据文本描述或风格要求生成音乐,为音乐创作者提供灵感或辅助创作。
  • 语言学习:生成与语言学习内容相关的音效或背景音乐,增强学习体验。
❓ 常见问题解答(FAQ)
AudioX是什么模型?

AudioX 是香港科技大学和月之暗面联合提出的统一扩散变换器模型,面向任意内容生成音频与音乐。它支持文本、视频、图像、音乐和音频等多模态输入,并可用于生成、补全和修复音频。

AudioX支持哪些音频生成任务?

AudioX 支持文本到音频、视频到音频、图像到音频、音乐生成、音频修复和音乐补全等任务。它还能通过自然语言控制音效类型、音乐风格和乐器选择,适合多种创作场景。

AudioX的核心技术优势是什么?

核心优势是扩散模型结合多模态掩码训练策略。模型通过随机掩码部分输入模态,学习从不完整信息中生成音频,从而提升跨模态表示能力、鲁棒性和零样本泛化表现。

🔬 语宙深潜追问 · 进阶实操拆解
多模态掩码训练怎么落地到自有数据?

先把文本、图像、视频、音乐、音频统一成可掩码的样本对,再按任务设计缺失模态组合。关键是控制噪声标注比例,并用小规模验证集先看零样本迁移,再逐步扩到修复、补全和生成任务。

音频修复和音乐补全该怎么评估效果?

别只看主观试听,建议同时做客观指标和人工盲测。修复看信噪比、失真和时序连续性;音乐补全看和声一致性、节拍对齐与风格保持。最好按真实业务场景拆分评测集,避免只在合成数据上好看。

🗳️ 读者观点微投票 · 您的实战立场是?
多模态音频生成,先押通用模型还是专用管线?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • AudioX-Turbo – Noiz AI 联合清华推出的音频生成框架
  • 科大讯飞开源10亿参数音频生成模型AudioFly:文本秒生44.1kHz高清音效,多场景创作利器
  • EzAudio – 腾讯联合约翰霍普金斯大学推出的文本到音频生成模型
  • 腾讯AI Lab发布AudioGenie:革命性无训练多智能体框架,实现多模态输入到高质量音频的精准生成
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
引领语言智能:从思维链推理到语言智能体的探索指南 [译]
DREAM: 分布式 RAG 实验框架 [译]
微软全面引入AI挖掘Windows漏洞,后续安全补丁修复数量将大幅增加
Qwen2.5-Turbo – 阿里推出的长文本模型,支持上下文长度1M tokens
Granite 3.0 – IBM推出用于企业级应用的系列AI模型
TAGGED:AI视频生成AI音频与语音Kimi开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Kokoro-TTS – 轻量级文本转语音模型,支持多语言多语音风格生成 Kokoro-TTS – 轻量级文本转语音模型,支持多语言多语音风格生成
下一篇 H-Optimus-0 – 法国初创公司Bioptimus开源的病理学AI基础模型 H-Optimus-0 – 法国初创公司Bioptimus开源的病理学AI基础模型
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

京东开源JoyAI-LLM-Flash:48B参数MoE架构,3B激活参数实现128K超长上下文与高效推理
AI 工具AIGC 资讯

京东开源JoyAI-LLM-Flash:48B参数MoE架构,3B激活参数实现128K超长上下文与高效推理

Prompt 语宙研究院
FiberPO优化框架 MoE大模型 多Token预测 智能体交互 混合专家架构
Project Mariner – 谷歌推出的浏览网站智能体,能帮用户操作表格、在线购物
AIGC 资讯

Project Mariner – 谷歌推出的浏览网站智能体,能帮用户操作表格、在线购物

Prompt 语宙研究院
AI办公效率 AI智能体 Gemini
Ev-DeblurVSR – 中科大等机构推出的视频画面增强模型
AIGC 资讯

Ev-DeblurVSR – 中科大等机构推出的视频画面增强模型

Prompt 语宙研究院
3D与空间智能 AI视频生成 开源大模型
ReSyncer – 清华联合百度推出的AI视频编辑工具
AIGC 资讯

ReSyncer – 清华联合百度推出的AI视频编辑工具

Prompt 语宙研究院
3D与空间智能 AI视频生成 AI音频与语音 大模型微调
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.