---
title: "ControlFoley – 小米开源的可控视频音效生成模型"
url: "https://paooo.com/aigc-news/18646/"
author: "Prompt 语宙研究院"
published_at: "2026-06-07T18:05:16+08:00"
updated_at: "2026-06-07T18:05:16+08:00"
categories: "AIGC 资讯"
tags: "AI视频生成, AI音频与语音, HuggingFace, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# ControlFoley – 小米开源的可控视频音效生成模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/18646/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-07

## AI 30 秒核心看点 (TL;DR)

- 统一覆盖 TV2A、TC-V2A、AC-V2A 三类可控视频配音任务，减少多工具切换成本。
- 自研 CAV-MAE-ST 时空编码器结合时间-音色解耦，显著提升音画同步与音色控制能力。
- 代码、权重与技术报告已开放，多个 benchmark 上达到开源 SOTA，具备直接落地价值。

## ControlFoley是什么

ControlFoley是小米开源的可控视频音效生成模型，能解决V2A领域可控性难题。模型统一支持文本引导、文本控制与参考音频控制三类视频配音任务，通过自研时空音视频编码器CAV-MAE-ST、时间-音色解耦与模态鲁棒训练，实现语义对齐、时间同步与音质全面提升。模型在多个benchmark上达到开源SOTA，代码与模型权重已开放。

## ControlFoley的主要功能

- 
**TV2A（文本引导视频配音）**：根据视频和文本提示生成同步音效，文本补充画面声音语义。

- 
**TC-V2A（文本控制视频配音）**：文本与视频语义冲突时，优先遵循文本意图，同时保持时间同步。

- 
**AC-V2A（参考音频控制视频配音）**：根据参考音频控制音色风格，不破坏视频节奏。

## ControlFoley的技术原理

- 
**联合视觉编码**：自研 CAV-MAE-ST 时空音视频编码器，专注音视频时空对应关系，增强动作节奏与时间同步理解，与 CLIP 结合兼顾语义与同步。

- 
**时间-音色解耦**：抑制参考音频中的时间信息，保留全局音色特征，避免参考音频干扰视频同步。

- 
**模态鲁棒训练**：随机模态 dropout + 统一多模态表示对齐，适配多种输入组合；通过 REPA 对齐目标提升语义一致性。

## 如何使用ControlFoley

- **获取开源资源**：访问 GitHub 仓库下载代码与模型权重，或直接使用官方提供的在线 Demo 进行体验。

- **环境配置**：根据仓库说明安装依赖环境，配置 Python 运行环境与必要的音视频处理库。

- **选择任务模式**：根据创作需求选择三类任务之一：TV2A（文本引导）、TC-V2A（文本控制）或 AC-V2A（参考音频控制）。

- **准备输入条件**：导入视频文件；如选 TV2A 附加文本提示，如选 TC-V2A 输入与画面冲突的文本指令，如选 AC-V2A 上传参考音频文件。

- **执行生成推理**：运行模型推理脚本，ControlFoley 将基于联合视觉编码与时间-音色解耦机制生成与视频同步的音效。

- **导出与后处理**：获取生成音频后，通过 VAE Decoder 与 Vocoder 输出最终音轨，与视频合成完成配音。

## ControlFoley的核心优势

- 
**统一框架**：单一模型覆盖文本引导、文本控制和参考音频控制三类任务，无需切换多个工具。

- 
**精准同步**：自研 CAV-MAE-ST 时空编码器增强音视频时序理解，音画对齐精度领先开源竞品。

- 
**音色解耦**：时间-音色解耦技术确保参考音频仅影响音色风格，不干扰视频原有节奏。

- 
**鲁棒控制**：随机模态 dropout 与统一表示对齐训练，使模型在单模态或多模态输入下均稳定输出。

- 
**开源 SOTA**：在 VGGSound-Test、Kling-Audio-Eval 等多个 benchmark 上语义对齐与声音质量全面领先。

## ControlFoley的项目地址

- **项目官网**：https://yjx-research.github.io/ControlFoley_web_page/

- **GitHub仓库**：https://github.com/xiaomi-research/controlfoley

- **HuggingFace模型库**：https://huggingface.co/YJX-Xiaomi/ControlFoley

- **arXiv技术论文**：https://arxiv.org/abs/2604.15086

## ControlFoley的同类竞品对比

对比维度
ControlFoley
[MMAudio](https://ai-bot.cn/mmaudio/)
[HunyuanVideo-Foley](https://ai-bot.cn/hunyuanvideo-foley/)

**任务覆盖**
统一支持 TV2A / TC-V2A / AC-V2A 三类可控任务
主要支持 TV2A 基础视频配音
主要支持 TV2A 基础视频配音

**文本冲突处理**
强：冲突场景下 DeSync 仅 0.36-0.38，优先遵循文本意图
弱：文本易被视觉信息覆盖
弱：文本控制能力有限

**参考音频控制**
支持，时间-音色解耦不破坏同步
不支持
不支持

**音画同步**
优：CAV-MAE-ST 增强时空对应
良
良

**开源状态**
代码、权重、技术报告全开源
开源
开源

## ControlFoley的应用场景

- 
**短视频创作**：为无声素材添加符合创作者意图的定制化音效，避免模型自动猜测的偏差。

- 
**动画与游戏**：为角色动作生成特定风格的打击声或环境音，如将普通敲门声替换为木槌击鼓声。

- 
**影视后期**：根据参考音频素材统一全片音效音色风格，保持品牌或系列作品的声音一致性。

- 
**广告营销**：按文本指令快速生成与品牌调性匹配的同步配音，强化节奏与情绪表达。

- 
**自媒体直播**：为直播切片或二创视频补充多模态可控的沉浸式音频，提升内容完成度。

## 常见问题解答 (FAQ)

### ControlFoley支持哪些视频配音任务？
ControlFoley 统一支持三类任务：TV2A 文本引导视频配音、TC-V2A 文本控制视频配音、AC-V2A 参考音频控制视频配音。它既能按文本补充声音语义，也能在文本与画面冲突时优先遵循文本意图，还能用参考音频控制音色风格。

### ControlFoley为什么比普通视频配音模型更可控？
核心在于它引入了 CAV-MAE-ST 时空音视频编码器、时间-音色解耦和模态鲁棒训练。这样既能增强音画时序理解，又能避免参考音频干扰节奏，并在单模态或多模态输入下保持稳定输出。

### ControlFoley适合哪些实际应用场景？
它适合短视频创作、动画与游戏、影视后期、广告营销和自媒体直播等场景。尤其适合需要按文本定制音效、统一参考音色风格，或在无声素材上快速生成与画面同步音效的需求。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
