---
title: "FoleyCrafter – 上海人工智能实验室推出的AI视频配音框架"
url: "https://paooo.com/aigc-news/27673/"
author: "Prompt 语宙研究院"
published_at: "2026-07-19T22:48:29+08:00"
updated_at: "2026-07-19T22:48:29+08:00"
categories: "AIGC 资讯"
tags: "AI视频生成, AI音频与语音, HuggingFace, YouTube, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# FoleyCrafter – 上海人工智能实验室推出的AI视频配音框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/27673/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-19

## AI 30 秒核心看点 (TL;DR)

- 可自动为无声视频补齐脚步、关门、风声等音效，提升画面真实感。
- 通过语义适配器、时间控制器等模块，实现动作理解与音画精准同步。
- 支持文字提示调节音量与风格，适用于影视、游戏、动画和VR场景。

## FoleyCrafter是什么

FoleyCrafter是上海人工智能实验室和香港中文大学（深圳）共同推出的AI视频配音框架，FoleyCrafter能自动听出视频中的动作，配上恰到好处的声音效果。不管是视频里的人走路、跑步，还是动物的叫声，甚至是环境里的风声、水声，FoleyCrafter都能智能地加上去，让原来没有声音的视频瞬间变得生动起来。而且还可以给它一些提示，比如“声音要高一点”或者“不要风声”，FoleyCrafter都能听懂并做到。这个技术不仅让视频制作更简单，还能让视频看起来更真实、更有感觉。

## FoleyCrafter的主要功能

- **自动配音**：FoleyCrafter能给无声的视频加上各种声音，比如脚步声、关门声，让视频听起来更真实。

- **声音同步**：不管视频里的动作多快或多慢，FoleyCrafter都能让声音和动作完美对上节奏。

- **理解视频**：FoleyCrafter很聪明，能看懂视频里的内容，然后配上最合适的声音效果。

- **时间精准**：FoleyCrafter有一个特别的时间控制器，确保声音的开始和结束都和视频里的动作完全同步。

- **听你指挥**：用户可以通过写一些简单的文字提示，比如“大声点”或者“轻一点”，FoleyCrafter能自动调整声音效果。

- **多样的声音**：无论是自然的声音、游戏的声音还是动画的声音，FoleyCrafter都能根据视频内容创造出相应的音效。

## FoleyCrafter的技术原理

- **预训练的音频模型**：FoleyCrafter基于一个已经学会怎么生成好声音的模型。就像一个已经知道怎么唱歌的人，我们只需要告诉它什么时候唱什么歌。

- **语义适配器**：这个部分是FoleyCrafter的大脑，它通过观看视频来理解里面正在发生什么。比如，如果视频里有人跑步，语义适配器就会知道需要生成脚步声。

- **并行交叉注意力层**：这是一种特殊的技术，让FoleyCrafter能够同时关注视频里的视觉信息和可能的文本描述，然后决定生成什么样的声音。

- **时间控制器**：这个部分确保声音效果在正确的时间点出现。就像一个指挥家，告诉乐队什么时候开始演奏，时间控制器告诉FoleyCrafter什么时候开始发出声音。

- **起始检测器**：这是时间控制器里的一个工具，它能够检测视频中的声音应该何时开始。比如，如果视频中的球刚刚碰到地面，起始检测器就会知道这是发出撞击声的正确时机。

- **时间戳适配器**：这个工具使用起始检测器的信息来调整声音的生成，确保声音与视频中的动作完美同步。

- **文本提示兼容性**：FoleyCrafter还可以根据你给出的文字提示来生成声音。比如，你写“轻柔的风声”，它就会生成相应的声音效果。

## FoleyCrafter的项目地址

- **项目官网**：[https://foleycrafter.github.io/](https://foleycrafter.github.io/)

- **GitHub仓库**：[https://github.com/open-mmlab/foleycrafter](https://github.com/open-mmlab/foleycrafter)

- **HuggingFace Demo**：[https://huggingface.co/spaces/ymzhang319/FoleyCrafter](https://huggingface.co/spaces/ymzhang319/FoleyCrafter)

- **YouTube视频**：[https://www.youtube.com/watch?v=7m4YLrSBOv0](https://www.youtube.com/watch?v=7m4YLrSBOv0)

## FoleyCrafter的应用场景

- **电影和视频制作**：在电影、电视剧或网络视频的后期制作中，FoleyCrafter可以自动为各种动作场景生成逼真的音效，如脚步声、关门声、物体碰撞声等。

- **游戏开发**：在电子游戏中，FoleyCrafter可以为角色动作、环境互动等生成相应的音效，增强游戏的沉浸感和真实性。

- **动画制作**：动画中的动作往往需要音效来配合，FoleyCrafter能根据动画内容自动生成匹配的声音效果。

- **虚拟现实(VR)体验**：在VR环境中，声音的空间感和同步性尤为重要，FoleyCrafter能为VR体验提供精确的音效，提升用户的沉浸体验。

## 常见问题解答 (FAQ)

### FoleyCrafter适合给什么视频配音？
它主要面向无声或缺少环境音的视频，可为人物动作、动物叫声、物体碰撞、风声、水声等生成匹配音效，适合影视后期、游戏、动画和VR内容制作。

### FoleyCrafter和普通音效生成工具有什么区别？
它不只是生成声音，还会结合视频内容理解动作，并通过时间控制器把音效精确对齐到动作发生时刻，因此更适合需要音画同步的场景。

### FoleyCrafter能根据文字提示调整音效吗？
可以。文章提到它支持简单文本提示，例如“大声点”“轻一点”“不要风声”，可据此调整生成音效的强弱、风格或是否包含某类声音。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
