Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: ACTalker – 港科大联合腾讯、清华推出的端到端视频扩散框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
ACTalker – 港科大联合腾讯、清华推出的端到端视频扩散框架
Prompt 语宙 > AIGC 资讯 > ACTalker – 港科大联合腾讯、清华推出的端到端视频扩散框架
AIGC 资讯

ACTalker – 港科大联合腾讯、清华推出的端到端视频扩散框架

Prompt 语宙研究院
最近更新: 2026年6月8日 上午1:41
AI视频生成 AI音频与语音 HuggingFace 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 支持音频、表情等单/多信号控制,能同时驱动说话人头部视频生成。
  • 并行 Mamba、门控机制与 Mask-Drop 结合,减少模态冲突,提升自然度。
  • CelebV-HQ 上 Sync-C 5.317、Sync-D 7.869、FVD-Inc 232.374,表现亮眼。

ACTalker是什么

ACTalker 是用于生成逼真说话人头部视频的端到端视频扩散框架。支持单信号或多信号控制,如音频、表情等。核心架构包括并行 Mamba 结构,通过多个分支利用不同驱动信号分别控制面部区域,基于门控机制和掩码丢弃策略,实现灵活且自然的视频生成。在 CelebV-HQ 数据集上,ACTalker 的 Sync-C 和 Sync-D 分数表现优异,分别为 5.317 和 7.869,FVD-Inc 分数为 232.374,展现了良好的音频同步和视频质量。

阅读目录
  • ACTalker是什么
  • ACTalker的主要功能
  • ACTalker的技术原理
  • ACTalker的项目地址
  • ACTalker的应用场景

ACTalker

ACTalker的主要功能

  • 多信号控制与单信号控制:ACTalker 支持多信号控制和单信号控制,能用音频、表情等多种信号来驱动说话人头部视频的生成。
  • 自然协调的视频生成:通过 Mamba 结构,使驱动信号能在每个分支中跨时间和空间两个维度操控特征标记,确保受控视频在时间和空间上的自然协调。
  • 高质量的视频生成:实验结果表明,ACTalker 能生成自然、逼真的面部视频,在多信号控制下,Mamba 层能无缝整合多种驱动模态,无冲突地生成视频。

ACTalker的技术原理

  • 并行 Mamba 结构:ACTalker 采用并行 Mamba 结构,包含多个分支,每个分支利用单独的驱动信号(如音频、表情等)来控制特定的面部区域。使不同模态的信号可以同时作用于视频生成过程,互不干扰,实现多信号控制。
  • 门控机制:在所有分支中应用了门控机制,在训练时随机开启或关闭,在推理时可以根据需要手动调整。门控机制为视频生成提供了灵活的控制方式,支持在不同情况下选择使用单一信号或多种信号进行驱动。
  • 掩码丢弃策略(Mask-Drop):ACTalker 引入了掩码丢弃策略,支持每个驱动信号独立控制其对应的面部区域。在训练过程中,策略通过随机丢弃与控制区域无关的特征标记,增强驱动信号的有效性,提高生成内容的质量,防止控制冲突。
  • 状态空间建模(SSM):为了确保受控视频在时间和空间上的自然协调,ACTalker 采用了状态空间建模(SSM)。模型支持驱动信号在每个分支中跨时间和空间两个维度操控特征标记,实现自然的面部动作协调。
  • 视频扩散模型基础:ACTalker 基于视频扩散模型进行构建,在去噪过程中引入多分支控制模块。每个 Mamba 分支处理特定模态信号,通过门控机制动态调整各模态影响权重。

ACTalker的项目地址

  • 项目官网:https://harlanhong.github.io/publications/actalker
  • Github仓库:https://github.com/harlanhong/ACTalker
  • HuggingFace模型库:https://huggingface.co/papers/2504.02542
  • arXiv技术论文:https://arxiv.org/pdf/2504.02542

ACTalker的应用场景

  • 虚拟主播:ACTalker 可以通过音频和面部表情等多种信号控制生成自然流畅的说话头视频,使虚拟主播更加生动逼真,更好地与观众互动,提升观众的观看体验。
  • 远程会议:在远程会议中,ACTalker 可以用音频信号和参会者的表情信号生成自然的说话头视频。可以解决网络延迟导致的口型与声音不同步问题,能让参会者在视频信号不佳时,通过音频和表情信号生成自然的面部视频,增强远程交流的真实感。
  • 在线教育:在线教育场景中,教师可以用 ACTalker 生成自然的说话头视频,通过音频和表情信号的控制,使教学视频更加生动有趣,吸引学生的注意力,提高教学效果。
  • 虚拟现实与增强现实:在虚拟现实(VR)和增强现实(AR)应用中,ACTalker 可以生成与虚拟环境或增强现实场景相匹配的说话头视频。
  • 娱乐与游戏:在娱乐和游戏领域,ACTalker 可以为角色生成自然的说话头视频,增强角色的表现力和代入感。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
ACTalker是什么模型?

ACTalker 是一个端到端视频扩散框架,专门用于生成逼真的说话人头部视频。它支持音频、表情等单信号或多信号控制,并通过并行 Mamba、门控机制和掩码丢弃策略提升同步性与自然度。

ACTalker支持哪些驱动信号?

文章中明确提到 ACTalker 支持音频、表情等多种驱动信号,既可以单独使用,也可以组合使用。模型会根据不同分支分别控制对应面部区域,从而实现更灵活的视频生成。

ACTalker的效果怎么样?

在 CelebV-HQ 数据集上,ACTalker 的 Sync-C 为 5.317、Sync-D 为 7.869,FVD-Inc 为 232.374。结果说明它在音频同步和视频质量方面都有较好的表现。

🔬 语宙深潜追问 · 进阶实操拆解
ACTalker适合哪些真实业务场景?

最适合虚拟主播、数字人客服、教育讲解和营销短视频。若用于会议纪要或新闻播报,优先保证口型与语音同步;若用于品牌内容,再进一步追求面部细节、表情自然度和长视频稳定性。

多信号驱动时怎么避免表情失真?

要控制音频、表情、姿态信号的权重,避免多个条件互相打架。实践中可先固定主驱动信号,再逐步叠加辅助条件,并用时序平滑和身份约束减少抖动、漂移和夸张表情。

🗳️ 读者观点微投票 · 您的实战立场是?
说话人视频生成,口型同步和画质谁更重要?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • MultiTalk:美团等联合推出AI视频生成框架,音频驱动多人对话,口型精准同步
  • AniTalker – 上海交大开源的对口型说话视频生成框架
  • OmniSync:人大-快手-清华联合打造,通用对口型框架实现无限时长精准同步
  • StableAnimator – 复旦联合微软等机构推出的端到端身份一致性视频扩散框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
COTA:超参数科技发布全球首款「白盒」游戏AI智能体,LLM驱动实现百毫秒响应与真人级战术决策
GaussianAnything – 南洋理工 S-Lab 和上海 AI Lab 等推出的 3D 生成框架
NovaSR:仅52KB的开源音频超分模型,一键将电话音质提升至录音室级别
Self-Lengthen – 阿里千问推出的提升输出长度迭代训练框架
CogVideoX – 智谱AI推出的开源AI视频生成模型
TAGGED:AI视频生成AI音频与语音HuggingFace开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 GPT-image-1 – OpenAI 推出的最新图像生成模型 GPT-image-1 – OpenAI 推出的最新图像生成模型
下一篇 MedGemma – 谷歌开源的AI医疗领域模型 MedGemma – 谷歌开源的AI医疗领域模型
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

Kimi-Audio – Moonshot AI 开源的音频基础模型
AIGC 资讯

Kimi-Audio – Moonshot AI 开源的音频基础模型

Prompt 语宙研究院
AI音频与语音 Kimi 开源大模型 通义千问
Eko – Fellou AI 推出的开源 AI 代理开发框架
AIGC 资讯

Eko – Fellou AI 推出的开源 AI 代理开发框架

Prompt 语宙研究院
AI智能体 AI编程 开源大模型
SWE-1 – Windsurf推出的首个软件工程 AI 模型系列
AIGC 资讯

SWE-1 – Windsurf推出的首个软件工程 AI 模型系列

Prompt 语宙研究院
AI编程 Claude Cursor DeepSeek 通义千问
08-11 AIGC 早报
AIGC 早报

08-11 AIGC 早报

Carmen
AIGC AI绘画提示词 AI视频生成 AI音频与语音 ElevenLabs Midjourney 早报
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.