腾讯AI Lab发布AudioGenie：革命性无训练多智能体框架，实现多模态输入到高质量音频的精准生成

💡 站外导读：在AIGC浪潮下，音频内容创作面临新挑战：如何从复杂的视频、文本、图像等多模态输入中，高效、精准地生成高质量音效、语音与音乐？传统方法常受限于数据稀缺、泛化能力弱、音画不匹配等痛点。腾讯AI Lab推出的AudioGenie，正是为此而生。它构建了全球首个MM2MA基准，并创新采用无训练多智能体框架，通过精细化任务分解与自我纠错，显著提升了音频生成的可靠性与创作自由度，直击内容产业智能化升级的核心需求。

AudioGenie是什么

AudioGenie是腾讯AI Lab团队推出的多模态音频生成工具，能从视频、文本、图像等多种模态输入生成音效、语音、音乐等多种音频输出。工具采用无训练的多智能体框架，通过生成团队和监督团队的双层架构实现高效协同。生成团队负责将复杂的输入分解为具体的音频子事件，通过自适应混合专家（MoE）协作机制动态选择最适合的模型进行生成。监督团队则负责时空一致性验证，通过反馈循环进行自我纠错，确保生成的音频高度可靠。

在针对多模态到多音频生成这一前沿任务的研究中，AudioGenie团队打造了全球首个基准测试集——MA-Bench。该测试集汇集了198个视频样本，并为每个视频配备了多种类型的音频注释。实际测试结果表明，AudioGenie在涵盖8项任务的9项关键评估指标上，均达到了业界顶尖或接近顶尖的水准，特别是在生成音频的音质保真度、语义准确性、与原始内容的对齐程度，以及整体的美学听感体验方面，均展现出卓越的性能。

AudioGenie的主要功能

• 多模态输入与多音频输出：支持从视频、文本、图像等多种模态输入，生成音效、语音、音乐等多种音频类型。
• 无训练多智能体框架：采用双层架构，生成团队负责任务分解和动态模型选择，监督团队负责验证和自我纠错，确保输出的可靠性。
• 精细化任务分解：将复杂的多模态输入分解为具体的音频子事件，精确标注音频类型、起止时间和内容描述，形成结构化的生成蓝图。
• 试错与迭代优化：采用基于“思维树”的迭代优化流程，系统会生成候选音频，由监督团队从质量、对齐度、美学等维度进行评估，若存在瑕疵则自动触发修正或重试流程，直至输出满足要求。

AudioGenie的技术原理

• 双层多智能体架构：采用生成团队和监督团队的双层架构。生成团队负责音频生成任务的分解与执行，监督团队则负责验证输出的时空一致性并提供反馈以优化生成结果。
• 自适应混合专家（MoE）协作：根据不同的音频子任务，动态选择最适合的模型进行生成，并通过专家间的协作修正机制优化生成方案，提高生成质量和效率。
• 无训练框架：采用无训练的多智能体系统，避免了传统训练方法中数据稀缺和过拟合的问题，提高了系统的泛化能力和适应性。
• 时空一致性验证：监督团队通过反馈循环验证生成音频的时空一致性，确保生成的音频在时间和空间上与输入内容协调一致。

AudioGenie的项目地址

• 项目官网：https://audiogenie.github.io/

AudioGenie的应用场景

• 影视制作：快速生成与视频内容高度匹配的背景音乐、环境音效和角色配音，提升制作效率并增强观众的沉浸感。
• 虚拟人物配音：为虚拟主播、虚拟客服等虚拟人物生成自然流畅的语音，更具表现力和真实感。
• 游戏开发：根据游戏场景自动生成逼真的环境音效、背景音乐和角色语音，增强玩家的沉浸感和游戏体验。
• 播客制作：依据播客内容自动生成随剧情起伏的配乐，提升播客的吸引力和专业性。
• 广告片剪辑：快速匹配品牌调性的音效和音乐，节省制作时间和成本，提升广告的吸引力和感染力。