# ACTalker – 港科大联合腾讯、清华推出的端到端视频扩散框架

- Link: https://paooo.com/aigc-news/20512/
- Published: 2026-06-08T01:41:48+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 支持音频、表情等单/多信号控制，能同时驱动说话人头部视频生成。
 * 并行 Mamba、门控机制与 Mask-Drop 结合，减少模态冲突，提升自然度。
 * CelebV-HQ 上 Sync-C 5.317、Sync-D 7.869、FVD-Inc 232.374，表现亮眼。

## ACTalker是什么

ACTalker 是用于生成逼真说话人头部视频的端到端视频扩散框架。支持单信号或多信号控制，
如音频、表情等。核心架构包括并行 Mamba 结构，通过多个分支利用不同驱动信号分别控制
面部区域，基于门控机制和掩码丢弃策略，实现灵活且自然的视频生成。在 CelebV-HQ 数据
集上，ACTalker 的 Sync-C 和 Sync-D 分数表现优异，分别为 5.317 和 7.869，FVD-Inc 
分数为 232.374，展现了良好的音频同步和视频质量。

阅读目录

 * [ACTalker是什么](https://paooo.com/aigc-news/20512/#actalker%e6%98%af%e4%bb%80%e4%b9%88)
 * [ACTalker的主要功能](https://paooo.com/aigc-news/20512/#actalker%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [ACTalker的技术原理](https://paooo.com/aigc-news/20512/#actalker%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [ACTalker的项目地址](https://paooo.com/aigc-news/20512/#actalker%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [ACTalker的应用场景](https://paooo.com/aigc-news/20512/#actalker%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![ACTalker](https://paooo.com/wp-content/uploads/2026/06/ACTalker-website-1.avif)

## ACTalker的主要功能

 * **多信号控制与单信号控制**：ACTalker 支持多信号控制和单信号控制，能用音频、表情
   等多种信号来驱动说话人头部视频的生成。
 * **自然协调的视频生成**：通过 Mamba 结构，使驱动信号能在每个分支中跨时间和空间
   两个维度操控特征标记，确保受控视频在时间和空间上的自然协调。
 * **高质量的视频生成**：实验结果表明，ACTalker 能生成自然、逼真的面部视频，在多
   信号控制下，Mamba 层能无缝整合多种驱动模态，无冲突地生成视频。

## ACTalker的技术原理

 * **并行 Mamba 结构**：ACTalker 采用并行 Mamba 结构，包含多个分支，每个分支利用
   单独的驱动信号（如音频、表情等）来控制特定的面部区域。使不同模态的信号可以同时
   作用于视频生成过程，互不干扰，实现多信号控制。
 * **门控机制**：在所有分支中应用了门控机制，在训练时随机开启或关闭，在推理时可以
   根据需要手动调整。门控机制为视频生成提供了灵活的控制方式，支持在不同情况下选择
   使用单一信号或多种信号进行驱动。
 * **掩码丢弃策略（Mask-Drop）**：ACTalker 引入了掩码丢弃策略，支持每个驱动信号独立
   控制其对应的面部区域。在训练过程中，策略通过随机丢弃与控制区域无关的特征标记，
   增强驱动信号的有效性，提高生成内容的质量，防止控制冲突。
 * **状态空间建模（SSM）**：为了确保受控视频在时间和空间上的自然协调，ACTalker 采用
   了状态空间建模（SSM）。模型支持驱动信号在每个分支中跨时间和空间两个维度操控特征
   标记，实现自然的面部动作协调。
 * **视频扩散模型基础**：ACTalker 基于视频扩散模型进行构建，在去噪过程中引入多分支
   控制模块。每个 Mamba 分支处理特定模态信号，通过门控机制动态调整各模态影响权重。

## ACTalker的项目地址

 * **项目官网**：[https://harlanhong.github.io/publications/actalker](https://harlanhong.github.io/publications/actalker/index.html?utm_source=ai-bot.cn)
 * **Github仓库**：[https://github.com/harlanhong/ACTalker](https://github.com/harlanhong/ACTalker)
 * **HuggingFace模型库**：[https://huggingface.co/papers/2504.02542](https://huggingface.co/papers/2504.02542)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2504.02542](https://arxiv.org/pdf/2504.02542)

## ACTalker的应用场景

 * **虚拟主播**：ACTalker 可以通过音频和面部表情等多种信号控制生成自然流畅的说话
   头视频，使虚拟主播更加生动逼真，更好地与观众互动，提升观众的观看体验。
 * **远程会议**：在远程会议中，ACTalker 可以用音频信号和参会者的表情信号生成自然
   的说话头视频。可以解决网络延迟导致的口型与声音不同步问题，能让参会者在视频信号
   不佳时，通过音频和表情信号生成自然的面部视频，增强远程交流的真实感。
 * **在线教育**：在线教育场景中，教师可以用 ACTalker 生成自然的说话头视频，通过音
   频和表情信号的控制，使教学视频更加生动有趣，吸引学生的注意力，提高教学效果。
 * **虚拟现实与增强现实**：在虚拟现实（VR）和增强现实（AR）应用中，ACTalker 可以
   生成与虚拟环境或增强现实场景相匹配的说话头视频。
 * **娱乐与游戏**：在娱乐和游戏领域，ACTalker 可以为角色生成自然的说话头视频，增强
   角色的表现力和代入感。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

ACTalker是什么模型？

ACTalker 是一个端到端视频扩散框架，专门用于生成逼真的说话人头部视频。它支持音频、
表情等单信号或多信号控制，并通过并行 Mamba、门控机制和掩码丢弃策略提升同步性与自然
度。

ACTalker支持哪些驱动信号？

文章中明确提到 ACTalker 支持音频、表情等多种驱动信号，既可以单独使用，也可以组合
使用。模型会根据不同分支分别控制对应面部区域，从而实现更灵活的视频生成。

ACTalker的效果怎么样？

在 CelebV-HQ 数据集上，ACTalker 的 Sync-C 为 5.317、Sync-D 为 7.869，FVD-Inc 为 
232.374。结果说明它在音频同步和视频质量方面都有较好的表现。

🔬 语宙深潜追问 · 进阶实操拆解

ACTalker适合哪些真实业务场景？

最适合虚拟主播、数字人客服、教育讲解和营销短视频。若用于会议纪要或新闻播报，优先
保证口型与语音同步；若用于品牌内容，再进一步追求面部细节、表情自然度和长视频稳定
性。

多信号驱动时怎么避免表情失真？

要控制音频、表情、姿态信号的权重，避免多个条件互相打架。实践中可先固定主驱动信号，
再逐步叠加辅助条件，并用时序平滑和身份约束减少抖动、漂移和夸张表情。

🗳️ 读者观点微投票 · 您的实战立场是？

说话人视频生成，口型同步和画质谁更重要？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [MultiTalk：美团等联合推出AI视频生成框架，音频驱动多人对话，口型精准同步](https://paooo.com/aigc-news/14839/)
 * [AniTalker – 上海交大开源的对口型说话视频生成框架](https://paooo.com/aigc-news/27899/)
 * [OmniSync：人大-快手-清华联合打造，通用对口型框架实现无限时长精准同步](https://paooo.com/aigc-news/16952/)
 * [StableAnimator – 复旦联合微软等机构推出的端到端身份一致性视频扩散框架](https://paooo.com/aigc-news/25084/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/20512/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
