ControlFoley是什么
ControlFoley是小米开源的可控视频音效生成模型,能解决V2A领域可控性难题。模型统一支持文本引导、文本控制与参考音频控制三类视频配音任务,通过自研时空音视频编码器CAV-MAE-ST、时间-音色解耦与模态鲁棒训练,实现语义对齐、时间同步与音质全面提升。模型在多个benchmark上达到开源SOTA,代码与模型权重已开放。
阅读目录

ControlFoley的主要功能
-
TV2A(文本引导视频配音):根据视频和文本提示生成同步音效,文本补充画面声音语义。
-
TC-V2A(文本控制视频配音):文本与视频语义冲突时,优先遵循文本意图,同时保持时间同步。
-
AC-V2A(参考音频控制视频配音):根据参考音频控制音色风格,不破坏视频节奏。
ControlFoley的技术原理
-
联合视觉编码:自研 CAV-MAE-ST 时空音视频编码器,专注音视频时空对应关系,增强动作节奏与时间同步理解,与 CLIP 结合兼顾语义与同步。
-
时间-音色解耦:抑制参考音频中的时间信息,保留全局音色特征,避免参考音频干扰视频同步。
-
模态鲁棒训练:随机模态 dropout + 统一多模态表示对齐,适配多种输入组合;通过 REPA 对齐目标提升语义一致性。
如何使用ControlFoley
- 获取开源资源:访问 GitHub 仓库下载代码与模型权重,或直接使用官方提供的在线 Demo 进行体验。
- 环境配置:根据仓库说明安装依赖环境,配置 Python 运行环境与必要的音视频处理库。
- 选择任务模式:根据创作需求选择三类任务之一:TV2A(文本引导)、TC-V2A(文本控制)或 AC-V2A(参考音频控制)。
- 准备输入条件:导入视频文件;如选 TV2A 附加文本提示,如选 TC-V2A 输入与画面冲突的文本指令,如选 AC-V2A 上传参考音频文件。
- 执行生成推理:运行模型推理脚本,ControlFoley 将基于联合视觉编码与时间-音色解耦机制生成与视频同步的音效。
- 导出与后处理:获取生成音频后,通过 VAE Decoder 与 Vocoder 输出最终音轨,与视频合成完成配音。
ControlFoley的核心优势
-
统一框架:单一模型覆盖文本引导、文本控制和参考音频控制三类任务,无需切换多个工具。
-
精准同步:自研 CAV-MAE-ST 时空编码器增强音视频时序理解,音画对齐精度领先开源竞品。
-
音色解耦:时间-音色解耦技术确保参考音频仅影响音色风格,不干扰视频原有节奏。
-
鲁棒控制:随机模态 dropout 与统一表示对齐训练,使模型在单模态或多模态输入下均稳定输出。
-
开源 SOTA:在 VGGSound-Test、Kling-Audio-Eval 等多个 benchmark 上语义对齐与声音质量全面领先。
ControlFoley的项目地址
- 项目官网:https://yjx-research.github.io/ControlFoley_web_page/
- GitHub仓库:https://github.com/xiaomi-research/controlfoley
- HuggingFace模型库:https://huggingface.co/YJX-Xiaomi/ControlFoley
- arXiv技术论文:https://arxiv.org/abs/2604.15086
ControlFoley的同类竞品对比
| 对比维度 | ControlFoley | MMAudio | HunyuanVideo-Foley |
|---|---|---|---|
| 任务覆盖 | 统一支持 TV2A / TC-V2A / AC-V2A 三类可控任务 | 主要支持 TV2A 基础视频配音 | 主要支持 TV2A 基础视频配音 |
| 文本冲突处理 | 强:冲突场景下 DeSync 仅 0.36-0.38,优先遵循文本意图 | 弱:文本易被视觉信息覆盖 | 弱:文本控制能力有限 |
| 参考音频控制 | 支持,时间-音色解耦不破坏同步 | 不支持 | 不支持 |
| 音画同步 | 优:CAV-MAE-ST 增强时空对应 | 良 | 良 |
| 开源状态 | 代码、权重、技术报告全开源 | 开源 | 开源 |
ControlFoley的应用场景
-
短视频创作:为无声素材添加符合创作者意图的定制化音效,避免模型自动猜测的偏差。
-
动画与游戏:为角色动作生成特定风格的打击声或环境音,如将普通敲门声替换为木槌击鼓声。
-
影视后期:根据参考音频素材统一全片音效音色风格,保持品牌或系列作品的声音一致性。
-
广告营销:按文本指令快速生成与品牌调性匹配的同步配音,强化节奏与情绪表达。
-
自媒体直播:为直播切片或二创视频补充多模态可控的沉浸式音频,提升内容完成度。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
❓ 常见问题解答(FAQ)
ControlFoley支持哪些视频配音任务?
ControlFoley 统一支持三类任务:TV2A 文本引导视频配音、TC-V2A 文本控制视频配音、AC-V2A 参考音频控制视频配音。它既能按文本补充声音语义,也能在文本与画面冲突时优先遵循文本意图,还能用参考音频控制音色风格。
ControlFoley为什么比普通视频配音模型更可控?
核心在于它引入了 CAV-MAE-ST 时空音视频编码器、时间-音色解耦和模态鲁棒训练。这样既能增强音画时序理解,又能避免参考音频干扰节奏,并在单模态或多模态输入下保持稳定输出。
ControlFoley适合哪些实际应用场景?
它适合短视频创作、动画与游戏、影视后期、广告营销和自媒体直播等场景。尤其适合需要按文本定制音效、统一参考音色风格,或在无声素材上快速生成与画面同步音效的需求。
🔬 语宙深潜追问 · 进阶实操拆解
参考音频控制最难解决什么问题?
最难的是语义一致、节奏同步和音色迁移同时成立。实战里要做分层条件控制、时间对齐约束和后处理降噪,否则容易出现“像但不准”或“准但不好听”的问题。
短视频配音怎么接入这类模型?
建议先把它放进素材生产链路:镜头切分、音效标签、自动对齐和人工抽检一起做。先用模型批量出草稿,再由剪辑师做少量修正,效率和稳定性通常最好。
🗳️ 读者观点微投票 · 您的实战立场是?
可控音效生成,先拼效果还是先拼可控性?
