--- title: "MultiFoley – Adobe 联合密歇根大学推出的音效生成系统" url: "https://paooo.com/aigc-news/25155/" author: "Prompt 语宙研究院" published_at: "2026-07-12T04:18:29+08:00" updated_at: "2026-07-12T04:18:29+08:00" categories: "AIGC 资讯" tags: "Adobe, AI视频生成, AI音频与语音, 开源大模型" source: "Prompt 语宙 (https://paooo.com)" ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)" --- # MultiFoley – Adobe 联合密歇根大学推出的音效生成系统 > 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25155/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-12 ## AI 30 秒核心看点 (TL;DR) - 支持文本、音频、视频三种条件输入，生成与画面同步的 Foley 音效。 - 联合互联网视频与专业 SFX 训练，并输出 48kHz 全带宽高质量音频。 - 适用于电影、游戏、动画、广告和 VR，提升声音设计效率与沉浸感。 ## MultiFoley是什么 MultiFoley是Adobe Research和密歇根大学共同推出的音效生成系统，能基于文本、音频和视频的多模态控制生成Foley声音效果。系统支持用户根据文本提示、参考音频或部分视频来定制和生成与视频同步的声音，增强视频观看体验。MultiFoley联合训练互联网视频数据集和专业声音效果录音，实现高质量、全带宽（48kHz）的音频生成。MultiFoley能为视频制作提供灵活的声音设计控制，帮助用户创作出既干净又富有创意的音效。 ## MultiFoley的主要功能 - **文本控制的Foley生成**：用文本提示引导和生成与视频同步的声音效果，是现实声音或创意声音。 - **音频控制的Foley生成**：支持用户从声音效果库中选择参考音频，将声音应用到无声视频中，并与视频同步。 - **Foley音频扩展**：将部分音频轨道扩展，产生完整的Foley声音。 - **质量控制**：基于在文本中加入质量标签，生成高质量的全频带（48kHz）音频。 - **多模态控制**：结合文本、音频和视频的条件信号，提供细致的声音设计控制。 ## MultiFoley的技术原理 - **联合训练**：在互联网视频数据集（低质量音频）和专业声音效果（SFX）录音上进行训练，生成高质量的全频带音频。 - **扩散变换器（Diffusion Transformer）**：基于扩散模型从随机噪声生成新样本，用在视频引导的Foley声音生成，并结合多模态控制。 - **高质量音频自编码器（DAC-VAE）**：基于变分自编码器（VAE），将48kHz的音频波形编码成40Hz的潜在特征，用在音频-视频同步。 - **冻结视频编码器**：用在音频-视频同步，将视频编码成特征并与音频潜在编码一起使用。 - **多条件训练策略**：让模型灵活地支持下游任务，如音频扩展和文本驱动的声音设计。 - **多头注意力机制**：增强模型的表达能力，并行学习不同类型的特征或依赖关系。 ## MultiFoley的项目地址 - **项目官网**：[ificl.github.io/MultiFoley](https://ificl.github.io/MultiFoley/?utm_source=ai-bot.cn) - **arXiv技术论文**：[https://arxiv.org/pdf/2411.17698](https://arxiv.org/pdf/2411.17698) ## MultiFoley的应用场景 - **电影和视频制作**：在电影制作中，生成与画面动作同步的声音效果，如脚步声、关门声等，增强观众的沉浸感。 - **游戏开发**：在游戏中，为不同的游戏环境和动作生成逼真的声音，提升游戏体验。 - **动画制作**：对于动画，根据动画角色的动作生成相应的声音，让动画更加生动。 - **广告制作**：在广告行业中，根据广告创意生成吸引眼球的声音效果，增加广告的吸引力。 - **虚拟现实（VR）**：在VR体验中，生成与虚拟环境同步的声音，提高用户的沉浸感和体验质量。 ## 常见问题解答 (FAQ) ### MultiFoley 是什么？ MultiFoley 是 Adobe Research 与密歇根大学联合推出的音效生成系统，能够基于文本、参考音频和视频等多模态条件，生成与画面同步的 Foley 声音，适合视频声音设计与创作。 ### MultiFoley 能生成什么类型的音效？ 它可以生成脚步声、关门声等现实 Foley 音效，也能根据文本提示生成更具创意的声音效果，并支持把参考音频扩展到完整音轨，便于无声视频补全声音。 ### MultiFoley 适合哪些应用场景？ MultiFoley 适合电影和视频制作、游戏开发、动画制作、广告创意以及 VR 场景，核心价值是让声音与画面动作同步，同时提升音质、效率和沉浸感。 --- 探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)