---
title: "KeySync – 帝国理工联合弗罗茨瓦夫大学推出的口型同步框架"
url: "https://paooo.com/aigc-news/20034/"
author: "Prompt 语宙研究院"
published_at: "2026-06-07T21:44:42+08:00"
updated_at: "2026-06-07T21:44:42+08:00"
categories: "AIGC 资讯"
tags: "AI视频生成, AI音频与语音, HuggingFace, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# KeySync – 帝国理工联合弗罗茨瓦夫大学推出的口型同步框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/20034/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-07

## AI 30 秒核心看点 (TL;DR)

- 两阶段框架先生成关键帧再插值过渡，兼顾唇形准确与动作连贯。
- 引入新掩码策略并结合视频分割模型，显著减少表情泄露与遮挡干扰。
- 在视觉质量、时间一致性和唇部同步准确性上优于现有方法，适合实用部署。

## KeySync是什么

KeySync 是帝国理工学院和弗罗茨瓦夫大学推出的用在高分辨率口型同步框架，支持将输入音频与视频中的口型动作对齐。KeySync 基于两阶段框架实现，首先生成关键帧捕捉音频的关键唇部动作，基于插值生成平滑的过渡帧。KeySync 引入新的掩码策略，有效减少输入视频的表情泄露，用视频分割模型自动处理遮挡问题。KeySync 在视觉质量、时间连贯性和唇部同步准确性方面均优于现有方法，适用于自动配音等实际应用。

## KeySync的主要功能

- **高分辨率口型同步**：生成与输入音频精确对齐的高清（512×512）视频，适用于实际应用。

- **减少表情泄露**：减少输入视频中的表情泄露，提升同步效果。

- **遮挡处理**：在推理时自动识别、排除遮挡物（如手部、物体等），确保生成视频的自然性。

- **提升视觉质量**：在多个量化指标和用户研究中表现出色，生成的视频具有更高的清晰度和连贯性。

## KeySync的技术原理

- **两阶段生成框架**：

**关键帧生成**：首先生成一组稀疏的关键帧，捕捉音频中的主要唇部动作，确保每个关键帧准确反映音频的语音内容，同时保留人物身份信息。

- **插值生成**：在关键帧之间进行插值，生成平滑、时间连贯的中间帧，实现流畅的唇部动作过渡。

- **潜扩散模型**：潜扩散模型在压缩的低维潜空间中进行去噪操作，提高计算效率。逐步去除噪声，将随机噪声逐步转化为结构化的视频数据。

- **掩码策略**：基于计算面部关键点，设计覆盖下脸区域的掩码，同时保留必要的上下文信息，防止表情泄露。在推理时，结合预训练的视频分割模型（如 SAM²），自动识别、排除遮挡物，确保生成的唇部区域与遮挡物自然融合。

- **音频与视频对齐**：用 HuBERT 音频编码器将原始音频转换为特征表示，基于注意力机制将其嵌入到视频生成模型中，确保生成的唇部动作与音频精确对齐。

- **损失函数**：结合潜空间损失和像素空间损失（L2 损失），优化视频生成质量，确保生成的唇部区域与音频对齐。

## KeySync的项目地址

- **项目官网**：[https://antonibigata.github.io/KeySync/](https://antonibigata.github.io/KeySync/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/antonibigata/keysync](https://github.com/antonibigata/keysync)

- **HuggingFace模型库**：[https://huggingface.co/toninio19/keysync](https://huggingface.co/toninio19/keysync)

- **arXiv技术论文**：[https://arxiv.org/pdf/2505.00497](https://arxiv.org/pdf/2505.00497)

- **在线体验Demo**：[https://huggingface.co/spaces/toninio19/keysync-demo](https://huggingface.co/spaces/toninio19/keysync-demo)

## KeySync的应用场景

- **自动配音**：用于影视、广告等多语言内容制作，提升配音与唇部动作的对齐效果。

- **虚拟形象**：生成虚拟角色的同步唇部动作，增强虚拟形象的真实感。

- **视频会议**：优化远程通信中的唇部同步，提升用户体验。

- **无障碍内容**：帮助听力障碍人群更好地理解视频内容。

- **内容修复**：修复或替换视频中的唇部动作，提升内容质量。

## 常见问题解答 (FAQ)

### KeySync 主要解决什么问题？
KeySync 主要解决音频与视频口型不同步的问题。它通过高分辨率口型同步生成与输入音频对齐的唇部动作，同时尽量保留人物身份信息，并减少表情泄露和遮挡带来的干扰。

### KeySync 的两阶段生成是怎么工作的？
第一阶段先生成稀疏关键帧，捕捉音频中的主要唇部动作；第二阶段在关键帧之间做插值，补全平滑过渡帧。这样既保证口型准确，也提升时间连贯性和画面自然度。

### KeySync 适合哪些应用场景？
KeySync 适合自动配音、虚拟形象、视频会议、无障碍内容和内容修复等场景。尤其在多语言视频制作中，可提升配音与口型对齐效果，让生成视频更自然、更易用。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
