# MultiFoley – Adobe 联合密歇根大学推出的音效生成系统

- Link: https://paooo.com/aigc-news/25155/
- Published: 2026-07-12T04:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 支持文本、音频、视频三种条件输入，生成与画面同步的 Foley 音效。
 * 联合互联网视频与专业 SFX 训练，并输出 48kHz 全带宽高质量音频。
 * 适用于电影、游戏、动画、广告和 VR，提升声音设计效率与沉浸感。

## MultiFoley是什么

MultiFoley是Adobe Research和密歇根大学共同推出的音效生成系统，能基于文本、音频和
视频的多模态控制生成Foley声音效果。系统支持用户根据文本提示、参考音频或部分视频来
定制和生成与视频同步的声音，增强视频观看体验。MultiFoley联合训练互联网视频数据集
和专业声音效果录音，实现高质量、全带宽（48kHz）的音频生成。MultiFoley能为视频制作
提供灵活的声音设计控制，帮助用户创作出既干净又富有创意的音效。

阅读目录

 * [MultiFoley是什么](https://paooo.com/aigc-news/25155/#multifoley%e6%98%af%e4%bb%80%e4%b9%88)
 * [MultiFoley的主要功能](https://paooo.com/aigc-news/25155/#multifoley%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MultiFoley的技术原理](https://paooo.com/aigc-news/25155/#multifoley%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MultiFoley的项目地址](https://paooo.com/aigc-news/25155/#multifoley%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MultiFoley的应用场景](https://paooo.com/aigc-news/25155/#multifoley%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MultiFoley](https://paooo.com/wp-content/uploads/2026/07/MultiFoley-website-1.
avif)

## MultiFoley的主要功能

 * **文本控制的Foley生成**：用文本提示引导和生成与视频同步的声音效果，是现实声音
   或创意声音。
 * **音频控制的Foley生成**：支持用户从声音效果库中选择参考音频，将声音应用到无声
   视频中，并与视频同步。
 * **Foley音频扩展**：将部分音频轨道扩展，产生完整的Foley声音。
 * **质量控制**：基于在文本中加入质量标签，生成高质量的全频带（48kHz）音频。
 * **多模态控制**：结合文本、音频和视频的条件信号，提供细致的声音设计控制。

## MultiFoley的技术原理

 * **联合训练**：在互联网视频数据集（低质量音频）和专业声音效果（SFX）录音上进行
   训练，生成高质量的全频带音频。
 * **扩散变换器（Diffusion Transformer）**：基于扩散模型从随机噪声生成新样本，用
   在视频引导的Foley声音生成，并结合多模态控制。
 * **高质量音频自编码器（DAC-VAE）**：基于变分自编码器（VAE），将48kHz的音频波形
   编码成40Hz的潜在特征，用在音频-视频同步。
 * **冻结视频编码器**：用在音频-视频同步，将视频编码成特征并与音频潜在编码一起使用。
 * **多条件训练策略**：让模型灵活地支持下游任务，如音频扩展和文本驱动的声音设计。
 * **多头注意力机制**：增强模型的表达能力，并行学习不同类型的特征或依赖关系。

## MultiFoley的项目地址

 * **项目官网**：[ificl.github.io/MultiFoley](https://ificl.github.io/MultiFoley/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2411.17698](https://arxiv.org/pdf/2411.17698)

## MultiFoley的应用场景

 * **电影和视频制作**：在电影制作中，生成与画面动作同步的声音效果，如脚步声、关门
   声等，增强观众的沉浸感。
 * **游戏开发**：在游戏中，为不同的游戏环境和动作生成逼真的声音，提升游戏体验。
 * **动画制作**：对于动画，根据动画角色的动作生成相应的声音，让动画更加生动。
 * **广告制作**：在广告行业中，根据广告创意生成吸引眼球的声音效果，增加广告的吸引力。
 * **虚拟现实（VR）**：在VR体验中，生成与虚拟环境同步的声音，提高用户的沉浸感和体验
   质量。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Adobe ↗**

Adobe提供多领域软件，满足创意与办公需求。

❓ 常见问题解答（FAQ）

MultiFoley 是什么？

MultiFoley 是 Adobe Research 与密歇根大学联合推出的音效生成系统，能够基于文本、参考
音频和视频等多模态条件，生成与画面同步的 Foley 声音，适合视频声音设计与创作。

MultiFoley 能生成什么类型的音效？

它可以生成脚步声、关门声等现实 Foley 音效，也能根据文本提示生成更具创意的声音效果，
并支持把参考音频扩展到完整音轨，便于无声视频补全声音。

MultiFoley 适合哪些应用场景？

MultiFoley 适合电影和视频制作、游戏开发、动画制作、广告创意以及 VR 场景，核心价值
是让声音与画面动作同步，同时提升音质、效率和沉浸感。

🔬 语宙深潜追问 · 进阶实操拆解

文本、音频、视频三模态怎么协同？

通常先用视频提取动作节奏和事件点，再用参考音频锁定音色与质感，文本负责补充语义和
风格。三者要在时间轴上对齐，否则容易出现动作对了但音效节拍错位。

48kHz生成对专业制作意味着什么？

它意味着更高的后期可用性，能减少重采样和失真问题，更适合直接进入混音链路。但真正
能否商用，还要看瞬态、空间感和长时稳定性是否足够接近人工 Foley。

🗳️ 读者观点微投票 · 您的实战立场是？

AI音效生成，先要可控还是先要好听？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [ControlFoley – 小米开源的可控视频音效生成模型](https://paooo.com/aigc-news/18646/)
 * [FoleyCrafter – 上海人工智能实验室推出的AI视频配音框架](https://paooo.com/aigc-news/27673/)
 * [腾讯混元HunyuanVideo-Foley开源：AI视频音效生成模型，多模态扩散变换器驱动沉浸式创作](https://paooo.com/aigc-news/13919/)
 * [可灵AI发布Kling-Foley：多模态视频音效生成模型，精准同步音画，重塑AIGC内容创作](https://paooo.com/aigc-news/14665/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25155/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)