Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: ControlFoley – 小米开源的可控视频音效生成模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
ControlFoley – 小米开源的可控视频音效生成模型
Prompt 语宙 > AIGC 资讯 > ControlFoley – 小米开源的可控视频音效生成模型
AIGC 资讯

ControlFoley – 小米开源的可控视频音效生成模型

Prompt 语宙研究院
最近更新: 2026年6月7日 下午6:05
AI视频生成 AI音频与语音 HuggingFace 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 统一覆盖 TV2A、TC-V2A、AC-V2A 三类可控视频配音任务,减少多工具切换成本。
  • 自研 CAV-MAE-ST 时空编码器结合时间-音色解耦,显著提升音画同步与音色控制能力。
  • 代码、权重与技术报告已开放,多个 benchmark 上达到开源 SOTA,具备直接落地价值。

ControlFoley是什么

ControlFoley是小米开源的可控视频音效生成模型,能解决V2A领域可控性难题。模型统一支持文本引导、文本控制与参考音频控制三类视频配音任务,通过自研时空音视频编码器CAV-MAE-ST、时间-音色解耦与模态鲁棒训练,实现语义对齐、时间同步与音质全面提升。模型在多个benchmark上达到开源SOTA,代码与模型权重已开放。

阅读目录
  • ControlFoley是什么
  • ControlFoley的主要功能
  • ControlFoley的技术原理
  • 如何使用ControlFoley
  • ControlFoley的核心优势
  • ControlFoley的项目地址
  • ControlFoley的同类竞品对比
  • ControlFoley的应用场景

ControlFoley

ControlFoley的主要功能

  • TV2A(文本引导视频配音):根据视频和文本提示生成同步音效,文本补充画面声音语义。
  • TC-V2A(文本控制视频配音):文本与视频语义冲突时,优先遵循文本意图,同时保持时间同步。
  • AC-V2A(参考音频控制视频配音):根据参考音频控制音色风格,不破坏视频节奏。

ControlFoley的技术原理

  • 联合视觉编码:自研 CAV-MAE-ST 时空音视频编码器,专注音视频时空对应关系,增强动作节奏与时间同步理解,与 CLIP 结合兼顾语义与同步。
  • 时间-音色解耦:抑制参考音频中的时间信息,保留全局音色特征,避免参考音频干扰视频同步。
  • 模态鲁棒训练:随机模态 dropout + 统一多模态表示对齐,适配多种输入组合;通过 REPA 对齐目标提升语义一致性。

如何使用ControlFoley

  • 获取开源资源:访问 GitHub 仓库下载代码与模型权重,或直接使用官方提供的在线 Demo 进行体验。
  • 环境配置:根据仓库说明安装依赖环境,配置 Python 运行环境与必要的音视频处理库。
  • 选择任务模式:根据创作需求选择三类任务之一:TV2A(文本引导)、TC-V2A(文本控制)或 AC-V2A(参考音频控制)。
  • 准备输入条件:导入视频文件;如选 TV2A 附加文本提示,如选 TC-V2A 输入与画面冲突的文本指令,如选 AC-V2A 上传参考音频文件。
  • 执行生成推理:运行模型推理脚本,ControlFoley 将基于联合视觉编码与时间-音色解耦机制生成与视频同步的音效。
  • 导出与后处理:获取生成音频后,通过 VAE Decoder 与 Vocoder 输出最终音轨,与视频合成完成配音。

ControlFoley的核心优势

  • 统一框架:单一模型覆盖文本引导、文本控制和参考音频控制三类任务,无需切换多个工具。
  • 精准同步:自研 CAV-MAE-ST 时空编码器增强音视频时序理解,音画对齐精度领先开源竞品。
  • 音色解耦:时间-音色解耦技术确保参考音频仅影响音色风格,不干扰视频原有节奏。
  • 鲁棒控制:随机模态 dropout 与统一表示对齐训练,使模型在单模态或多模态输入下均稳定输出。
  • 开源 SOTA:在 VGGSound-Test、Kling-Audio-Eval 等多个 benchmark 上语义对齐与声音质量全面领先。

ControlFoley的项目地址

  • 项目官网:https://yjx-research.github.io/ControlFoley_web_page/
  • GitHub仓库:https://github.com/xiaomi-research/controlfoley
  • HuggingFace模型库:https://huggingface.co/YJX-Xiaomi/ControlFoley
  • arXiv技术论文:https://arxiv.org/abs/2604.15086

ControlFoley的同类竞品对比

对比维度 ControlFoley MMAudio HunyuanVideo-Foley
任务覆盖 统一支持 TV2A / TC-V2A / AC-V2A 三类可控任务 主要支持 TV2A 基础视频配音 主要支持 TV2A 基础视频配音
文本冲突处理 强:冲突场景下 DeSync 仅 0.36-0.38,优先遵循文本意图 弱:文本易被视觉信息覆盖 弱:文本控制能力有限
参考音频控制 支持,时间-音色解耦不破坏同步 不支持 不支持
音画同步 优:CAV-MAE-ST 增强时空对应 良 良
开源状态 代码、权重、技术报告全开源 开源 开源

ControlFoley的应用场景

  • 短视频创作:为无声素材添加符合创作者意图的定制化音效,避免模型自动猜测的偏差。
  • 动画与游戏:为角色动作生成特定风格的打击声或环境音,如将普通敲门声替换为木槌击鼓声。
  • 影视后期:根据参考音频素材统一全片音效音色风格,保持品牌或系列作品的声音一致性。
  • 广告营销:按文本指令快速生成与品牌调性匹配的同步配音,强化节奏与情绪表达。
  • 自媒体直播:为直播切片或二创视频补充多模态可控的沉浸式音频,提升内容完成度。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
ControlFoley支持哪些视频配音任务?

ControlFoley 统一支持三类任务:TV2A 文本引导视频配音、TC-V2A 文本控制视频配音、AC-V2A 参考音频控制视频配音。它既能按文本补充声音语义,也能在文本与画面冲突时优先遵循文本意图,还能用参考音频控制音色风格。

ControlFoley为什么比普通视频配音模型更可控?

核心在于它引入了 CAV-MAE-ST 时空音视频编码器、时间-音色解耦和模态鲁棒训练。这样既能增强音画时序理解,又能避免参考音频干扰节奏,并在单模态或多模态输入下保持稳定输出。

ControlFoley适合哪些实际应用场景?

它适合短视频创作、动画与游戏、影视后期、广告营销和自媒体直播等场景。尤其适合需要按文本定制音效、统一参考音色风格,或在无声素材上快速生成与画面同步音效的需求。

🔬 语宙深潜追问 · 进阶实操拆解
参考音频控制最难解决什么问题?

最难的是语义一致、节奏同步和音色迁移同时成立。实战里要做分层条件控制、时间对齐约束和后处理降噪,否则容易出现“像但不准”或“准但不好听”的问题。

短视频配音怎么接入这类模型?

建议先把它放进素材生产链路:镜头切分、音效标签、自动对齐和人工抽检一起做。先用模型批量出草稿,再由剪辑师做少量修正,效率和稳定性通常最好。

🗳️ 读者观点微投票 · 您的实战立场是?
可控音效生成,先拼效果还是先拼可控性?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • MultiFoley – Adobe 联合密歇根大学推出的音效生成系统
  • FoleyCrafter – 上海人工智能实验室推出的AI视频配音框架
  • 阿里通义ThinkSound:首个CoT音频生成模型,让AI为视频自动配音,音画同步超越6大主流方案
  • 腾讯混元HunyuanVideo-Foley开源:AI视频音效生成模型,多模态扩散变换器驱动沉浸式创作
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
InternVLA·M1 – 上海AI Lab开源的具身双系统操作大模型
告别字节两年半后重返一线!原今日头条CEO陈林携“小鹿爱学”杀入AI原生教育:从即时答案拐杖到苏格拉底式启发智能体全景深度拆解
单周狂吞 188 万亿 Token!全球大模型调用榜中国断层领跑 26 周:DeepSeek V4.1-Flash-1017 暴涨 800% 登顶全景深度拆解
昆仑万维重磅开源Skywork-Reward-V2:8款奖励模型横扫七大榜单,4000万数据集驱动AI对齐新突破
卢伟冰剧透发布会彩排:小米17T系列将登场,机器人互动成瞩目亮点
TAGGED:AI视频生成AI音频与语音HuggingFace开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Bernini – 字节跳动开源的统一视频生成与编辑框架 Bernini – 字节跳动开源的统一视频生成与编辑框架
下一篇 阿里云百炼 CLI – 阿里云开源的 AI Agent 命令行工具 阿里云百炼 CLI – 阿里云开源的 AI Agent 命令行工具
Ad image
Ad image

最近更新

加利福尼亚州总检察长罗布·邦塔就失控智能体事件起诉 OpenAI
指控失控智能体入侵第三方构成公共妨害!加州总检察长重磅起诉OpenAI:Hugging Face渗透细节曝光、PII隐私泄露与模型安全法律问责全景深度拆解
最新趋势
Google 为 Search Analytics API 推出品牌词、多模态与多维度筛选功能
告别正则过滤与多请求缝合!Google重磅升级Search Analytics API:品牌词识别、多模态视觉搜索数据导出与多国多设备聚合全景实战
AI 工具
NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯

相关推荐

Seedance 1.0 重磅发布:字节跳动AI视频生成模型,性能登顶评测榜首
AI 工具AIGC 资讯

Seedance 1.0 重磅发布:字节跳动AI视频生成模型,性能登顶评测榜首

Prompt 语宙研究院
AIGC Seedance 1.0 多镜头叙事 字节跳动 视频生成模型
CLaMP 3- 清华团队推出的音乐信息检索框架
AIGC 资讯

CLaMP 3- 清华团队推出的音乐信息检索框架

Prompt 语宙研究院
AI音频与语音 HuggingFace RAG检索增强 开源大模型
昆仑万维Matrix-Game 3.0发布:720p@40FPS实时交互世界模型,开启AI游戏新纪元
AI 工具AIGC 资讯

昆仑万维Matrix-Game 3.0发布:720p@40FPS实时交互世界模型,开启AI游戏新纪元

Prompt 语宙研究院
AI游戏生成 Matrix-Game 3.0 实时交互世界模型 扩散模型 昆仑万维
FullStack Bench – 字节豆包联合M-A-P社区开源的全新代码评估基准
AIGC 资讯

FullStack Bench – 字节豆包联合M-A-P社区开源的全新代码评估基准

Prompt 语宙研究院
AI编程 HuggingFace 开源大模型 豆包 豆包大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.