# LatentSync – 字节联合北交大开源的端到端唇形同步框架

- Link: https://paooo.com/aigc-news/23262/
- Published: 2026-06-09T14:07:01+08:00
- Author: 站外新闻

## LatentSync是什么

LatentSync是字节跳动、北京交通大学联合推出的端到端唇形同步框架，基于音频条件的潜在
扩散模型，无需任何中间的3D表示或2D特征点。LatentSync用[Stable Diffusion](https://paooo.com/tag/stable-diffusion/)
的强大生成能力，捕捉复杂的视听关联，生成动态逼真的说话视频。为解决扩散模型在不同
帧间扩散过程不一致导致的时间一致性问题，推出Temporal REPresentation Alignment (TREPA)
方法，用大规模自监督视频模型提取时间表示，增强生成帧与真实帧的时间一致性，同时保持
唇同步准确性。LatentSync基于综合实验研究，解决了SyncNet的收敛问题，提高唇形同步的
准确性。

阅读目录

 * [LatentSync是什么](https://paooo.com/aigc-news/23262/#latentsync%e6%98%af%e4%bb%80%e4%b9%88)
 * [LatentSync的主要功能](https://paooo.com/aigc-news/23262/#latentsync%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [LatentSync的技术原理](https://paooo.com/aigc-news/23262/#latentsync%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [LatentSync的项目地址](https://paooo.com/aigc-news/23262/#latentsync%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [LatentSync的应用场景](https://paooo.com/aigc-news/23262/#latentsync%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![LatentSync](https://paooo.com/wp-content/uploads/2026/06/LatentSync-website-1.
avif)

## LatentSync的主要功能

 * **唇形同步生成**：根据输入的音频，生成与之匹配的唇部运动，让视频中的人物嘴唇与
   音频同步，适用于配音、虚拟头像等场景。
 * **高分辨率视频生成**：生成高分辨率的视频，克服传统扩散模型在像素空间进行扩散时
   对硬件要求高的限制。
 * **动态逼真效果**：生成的视频具有动态逼真的效果，能捕捉到与情感语调相关的细微表情，
   让人物的说话更加自然生动。
 * **时间一致性增强**：基于Temporal REPresentation Alignment (TREPA)方法，提高生成
   视频的时间一致性，减少视频闪烁现象，让视频播放更加流畅。

## LatentSync的技术原理

 * **音频条件潜在扩散模型**：以音频为条件，用潜在扩散模型直接在潜在空间进行建模，
   无需经过像素空间扩散或两阶段生成过程。潜在扩散模型能更好地捕捉音频与视觉之间的
   复杂关联，生成高质量的唇同步视频。
 * **端到端框架**：基于端到端的框架结构，将音频特征提取、潜在表示生成、唇同步生成
   等过程集成在一个统一的模型中，简化中间步骤，提高生成效率和准确性。
 * **Temporal REPresentation Alignment (TREPA)**：推出TREPA方法，用大规模自监督视频
   模型VideoMAE-v2提取时间表示，计算生成连续帧和真实连续帧的时间表示之间的距离作为
   额外损失，增强生成视频的时间一致性。
 * **SyncNet监督**：在训练过程中，用预训练的SyncNet对生成的视频进行监督，确保生成
   的视频具有良好的唇同步效果。在像素空间添加SyncNet损失，让模型更好地学习音频与
   唇部运动之间的对应关系。

## LatentSync的项目地址

 * **GitHub仓库**：[https://github.com/bytedance/LatentSync](https://github.com/bytedance/LatentSync)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.09262](https://arxiv.org/pdf/2412.09262)

## LatentSync的应用场景

 * **影视后期制作**：在电影配音时根据配音音频自动生成匹配的唇部动画，提高制作效率
   并保持角色形象连贯性。
 * **教育领域**：在线英语课中，教师将语音转换为唇同步视频，帮助学生更准确地学习发音。
 * **广告视频制作**：汽车广告里为虚拟代言人生成唇同步视频，让广告词表达更自然，增强
   广告吸引力。
 * **远程会议**：跨国远程会议中实时生成唇同步视频，解决网络延迟导致的音画不同步问题，
   提升沟通效果。
 * **游戏开发**：RPG游戏中让NPC在对话时唇部动作与语音同步，增强游戏沉浸感和角色互动
   体验。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)