# ControlFoley – 小米开源的可控视频音效生成模型

- Link: https://paooo.com/aigc-news/18646/
- Published: 2026-06-07T18:05:16+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 统一覆盖 TV2A、TC-V2A、AC-V2A 三类可控视频配音任务，减少多工具切换成本。
 * 自研 CAV-MAE-ST 时空编码器结合时间-音色解耦，显著提升音画同步与音色控制能力。
 * 代码、权重与技术报告已开放，多个 benchmark 上达到开源 SOTA，具备直接落地价值。

## ControlFoley是什么

ControlFoley是小米开源的可控视频音效生成模型，能解决V2A领域可控性难题。模型统一支持
文本引导、文本控制与参考音频控制三类视频配音任务，通过自研时空音视频编码器CAV-MAE-
ST、时间-音色解耦与模态鲁棒训练，实现语义对齐、时间同步与音质全面提升。模型在多个
benchmark上达到开源SOTA，代码与模型权重已开放。

阅读目录

 * [ControlFoley是什么](https://paooo.com/aigc-news/18646/#controlfoley%e6%98%af%e4%bb%80%e4%b9%88)
 * [ControlFoley的主要功能](https://paooo.com/aigc-news/18646/#controlfoley%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [ControlFoley的技术原理](https://paooo.com/aigc-news/18646/#controlfoley%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用ControlFoley](https://paooo.com/aigc-news/18646/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8controlfoley)
 * [ControlFoley的核心优势](https://paooo.com/aigc-news/18646/#controlfoley%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [ControlFoley的项目地址](https://paooo.com/aigc-news/18646/#controlfoley%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [ControlFoley的同类竞品对比](https://paooo.com/aigc-news/18646/#controlfoley%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [ControlFoley的应用场景](https://paooo.com/aigc-news/18646/#controlfoley%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![ControlFoley](https://paooo.com/wp-content/uploads/2026/06/ControlFoley-website-
1.avif)

## ControlFoley的主要功能

 * **TV2A（文本引导视频配音）**：根据视频和文本提示生成同步音效，文本补充画面声音
   语义。
 * **TC-V2A（文本控制视频配音）**：文本与视频语义冲突时，优先遵循文本意图，同时保持
   时间同步。
 * **AC-V2A（参考音频控制视频配音）**：根据参考音频控制音色风格，不破坏视频节奏。

## ControlFoley的技术原理

 * **联合视觉编码**：自研 CAV-MAE-ST 时空音视频编码器，专注音视频时空对应关系，增强
   动作节奏与时间同步理解，与 CLIP 结合兼顾语义与同步。
 * **时间-音色解耦**：抑制参考音频中的时间信息，保留全局音色特征，避免参考音频干扰
   视频同步。
 * **模态鲁棒训练**：随机模态 dropout + 统一多模态表示对齐，适配多种输入组合；通过
   REPA 对齐目标提升语义一致性。

## 如何使用ControlFoley

 * **获取开源资源**：访问 GitHub 仓库下载代码与模型权重，或直接使用官方提供的在线
   Demo 进行体验。
 * **环境配置**：根据仓库说明安装依赖环境，配置 Python 运行环境与必要的音视频处理
   库。
 * **选择任务模式**：根据创作需求选择三类任务之一：TV2A（文本引导）、TC-V2A（文本
   控制）或 AC-V2A（参考音频控制）。
 * **准备输入条件**：导入视频文件；如选 TV2A 附加文本提示，如选 TC-V2A 输入与画面
   冲突的文本指令，如选 AC-V2A 上传参考音频文件。
 * **执行生成推理**：运行模型推理脚本，ControlFoley 将基于联合视觉编码与时间-音色
   解耦机制生成与视频同步的音效。
 * **导出与后处理**：获取生成音频后，通过 VAE Decoder 与 Vocoder 输出最终音轨，与
   视频合成完成配音。

## ControlFoley的核心优势

 * **统一框架**：单一模型覆盖文本引导、文本控制和参考音频控制三类任务，无需切换多个
   工具。
 * **精准同步**：自研 CAV-MAE-ST 时空编码器增强音视频时序理解，音画对齐精度领先开
   源竞品。
 * **音色解耦**：时间-音色解耦技术确保参考音频仅影响音色风格，不干扰视频原有节奏。
 * **鲁棒控制**：随机模态 dropout 与统一表示对齐训练，使模型在单模态或多模态输入
   下均稳定输出。
 * **开源 SOTA**：在 VGGSound-Test、Kling-Audio-Eval 等多个 benchmark 上语义对齐
   与声音质量全面领先。

## ControlFoley的项目地址

 * **项目官网**：https://yjx-research.github.io/ControlFoley_web_page/
 * **GitHub仓库**：https://github.com/xiaomi-research/controlfoley
 * **HuggingFace模型库**：https://huggingface.co/YJX-Xiaomi/ControlFoley
 * **arXiv技术论文**：https://arxiv.org/abs/2604.15086

## ControlFoley的同类竞品对比

  |  对比维度 |  ControlFoley |  [MMAudio](https://ai-bot.cn/mmaudio/) |  [HunyuanVideo-Foley](https://ai-bot.cn/hunyuanvideo-foley/) |  
   |  **任务覆盖** |  统一支持 TV2A / TC-V2A / AC-V2A 三类可控任务 |  主要支持 TV2A 基础视频配音 |  主要支持 TV2A 基础视频配音 |  
 |  **文本冲突处理** |  强：冲突场景下 DeSync 仅 0.36-0.38，优先遵循文本意图 |  弱：文本易被视觉信息覆盖 |  弱：文本控制能力有限 |  
 |  **参考音频控制** |  支持，时间-音色解耦不破坏同步 |  不支持 |  不支持 |  
 |  **音画同步** |  优：CAV-MAE-ST 增强时空对应 |  良 |  良 |  
 |  **开源状态** |  代码、权重、技术报告全开源 |  开源 |  开源 |

## ControlFoley的应用场景

 * **短视频创作**：为无声素材添加符合创作者意图的定制化音效，避免模型自动猜测的偏差。
 * **动画与游戏**：为角色动作生成特定风格的打击声或环境音，如将普通敲门声替换为木槌
   击鼓声。
 * **影视后期**：根据参考音频素材统一全片音效音色风格，保持品牌或系列作品的声音一致性。
 * **广告营销**：按文本指令快速生成与品牌调性匹配的同步配音，强化节奏与情绪表达。
 * **自媒体直播**：为直播切片或二创视频补充多模态可控的沉浸式音频，提升内容完成度。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

ControlFoley支持哪些视频配音任务？

ControlFoley 统一支持三类任务：TV2A 文本引导视频配音、TC-V2A 文本控制视频配音、AC-
V2A 参考音频控制视频配音。它既能按文本补充声音语义，也能在文本与画面冲突时优先遵循
文本意图，还能用参考音频控制音色风格。

ControlFoley为什么比普通视频配音模型更可控？

核心在于它引入了 CAV-MAE-ST 时空音视频编码器、时间-音色解耦和模态鲁棒训练。这样既能
增强音画时序理解，又能避免参考音频干扰节奏，并在单模态或多模态输入下保持稳定输出。

ControlFoley适合哪些实际应用场景？

它适合短视频创作、动画与游戏、影视后期、广告营销和自媒体直播等场景。尤其适合需要
按文本定制音效、统一参考音色风格，或在无声素材上快速生成与画面同步音效的需求。

🔬 语宙深潜追问 · 进阶实操拆解

参考音频控制最难解决什么问题？

最难的是语义一致、节奏同步和音色迁移同时成立。实战里要做分层条件控制、时间对齐约束
和后处理降噪，否则容易出现“像但不准”或“准但不好听”的问题。

短视频配音怎么接入这类模型？

建议先把它放进素材生产链路：镜头切分、音效标签、自动对齐和人工抽检一起做。先用模型
批量出草稿，再由剪辑师做少量修正，效率和稳定性通常最好。

🗳️ 读者观点微投票 · 您的实战立场是？

可控音效生成，先拼效果还是先拼可控性？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [MultiFoley – Adobe 联合密歇根大学推出的音效生成系统](https://paooo.com/aigc-news/25155/)
 * [FoleyCrafter – 上海人工智能实验室推出的AI视频配音框架](https://paooo.com/aigc-news/27673/)
 * [阿里通义ThinkSound：首个CoT音频生成模型，让AI为视频自动配音，音画同步超越6大主流方案](https://paooo.com/aigc-news/14573/)
 * [腾讯混元HunyuanVideo-Foley开源：AI视频音效生成模型，多模态扩散变换器驱动沉浸式创作](https://paooo.com/aigc-news/13919/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18646/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
