Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: FantasyTalking – 阿里联合北邮推出静态肖像生成可控数字人的框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
FantasyTalking – 阿里联合北邮推出静态肖像生成可控数字人的框架
Prompt 语宙 > AIGC 资讯 > FantasyTalking – 阿里联合北邮推出静态肖像生成可控数字人的框架
AIGC 资讯

FantasyTalking – 阿里联合北邮推出静态肖像生成可控数字人的框架

Prompt 语宙研究院
最近更新: 2026年6月8日 上午10:51
AI视频生成 AI音频与语音 可灵AI 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于预训练视频扩散变换器,FantasyTalking 可从单张静态肖像生成可动画化数字人。
  • 双阶段视听对齐先建全局运动,再细化唇部同步,兼顾身份一致性与口型精度。
  • 运动强度可显式调节,支持面部表情与身体动作控制,适配多姿态、多风格生成。

FantasyTalking是什么

FantasyTalking 是阿里巴巴 AMAP 团队和北京邮电大学联合提出的新型框架,用于从单张静态肖像生成逼真的可动画化虚拟形象。基于预训练的视频扩散变换器模型,采用双阶段视听对齐策略,第一阶段通过片段级训练方案建立连贯的全局运动,第二阶段通过唇部追踪掩码在帧级别细化唇部运动,确保与音频信号精确同步。框架引入面部专注的交叉注意力模块来保持面部一致性,通过运动强度调制模块实现对表情和身体运动强度的控制。

阅读目录
  • FantasyTalking是什么
  • FantasyTalking的主要功能
  • FantasyTalking的技术原理
  • FantasyTalking的项目地址
  • FantasyTalking的应用场景

FantasyTalking

FantasyTalking的主要功能

  • 口型同步:能准确识别并同步虚拟角色的口型与输入语音,使角色在说话时的口型与语音内容完全一致,增强了角色的真实感和可信度。
  • 面部动作生成:根据语音内容和情感信息,生成相应的面部动作,如眨眼、皱眉、微笑等,使虚拟角色的表情更加丰富和生动。
  • 全身动作生成:能根据场景和情节需要,生成全身的动作和姿态,如行走、奔跑、跳跃等,使虚拟角色在动画中更加自然和流畅。
  • 运动强度控制:通过运动强度调制模块,用户可以显式控制面部表情和身体运动的强度,实现对肖像运动的可控操纵,不仅限于唇部运动。
  • 多种风格支持:支持多种风格的虚拟形象,写实风格、卡通风格,能生成高质量的对话视频。
  • 多种姿态支持:支持生成具有各种身体范围和朝向的逼真说话视频,包括特写肖像、半身、全身以及正面和侧面姿势。

FantasyTalking的技术原理

  • 双阶段视听对齐策略
    • 片段级训练:在第一阶段,通过片段级训练方案,模型会捕捉音频与整个场景(包括参考肖像、上下文对象和背景)之间的弱相关性,建立全局的视听依赖关系,实现整体特征融合。使模型能学习到与音频相关的非语言线索(如眉毛运动、肩膀动作)和强音频同步的唇部动态。
    • 帧级训练:在第二阶段,模型专注于帧级与音频高度相关的视觉特征细化,特别是唇部动作。通过使用唇部追踪掩码,模型能确保唇部运动与音频信号精确对齐,提高生成视频的质量。
  • 身份保持:传统的参考网络方法通常会限制视频中人物和背景的大范围自然变化。FantasyTalking 采用面部专注的交叉注意力模块,集中建模面部区域,通过交叉注意力机制解耦身份保留与动作生成。更轻量级,能解放对背景和人物自然运动的限制,确保在整个生成的视频序列中保持角色的身份特征。
  • 运动强度调节:FantasyTalking 引入了运动强度调制模块,能显式控制面部表情和身体运动的强度。使用户可以对肖像运动进行可控操纵,不仅限于唇部运动。通过调节运动强度,可以生成更加自然和多样化的动画。
  • 基于预训练的视频扩散变换器模型:FantasyTalking 基于 Wan2.1 视频扩散变换器模型,基于时空建模能力,生成高保真、连贯的说话肖像视频。模型能有效捕捉音频信号与唇部运动、面部表情以及身体动作之间的关系,生成高质量的动态肖像。

FantasyTalking的项目地址

  • 项目官网:https://fantasy-amap.github.io/fantasy-talking/
  • Github仓库:https://github.com/Fantasy-AMAP/fantasy-talking
  • arXiv技术论文:https://arxiv.org/pdf/2504.04842

FantasyTalking的应用场景

  • 游戏开发:在游戏开发中,FantasyTalking 可用于生成游戏角色的对话动画和战斗动画。能根据语音内容生成精准的口型同步、丰富的面部表情和自然的全身动作,使游戏角色更加生动逼真,提升游戏的视觉效果和玩家的沉浸感。
  • 影视制作:在影视制作中,可用于生成虚拟角色的表演动画和特效动画。通过 FantasyTalking 可以快速生成具有复杂表情和动作的虚拟角色,减少传统动画制作中的人力和时间成本,为影视作品增添更多的创意和想象力。
  • 虚拟现实和增强现实:在虚拟现实(VR)和增强现实(AR)应用中,FantasyTalking 可以生成虚拟角色的交互动画和引导动画。
  • 虚拟主播:FantasyTalking 可以用于生成虚拟主播的动画视频。支持多种风格的虚拟形象,虚拟主播可以用于新闻播报、直播带货、在线教育等多种场景,具有较高的实用性和灵活性。
  • 智能教育:在智能教育领域,FantasyTalking 可以生成虚拟教师或虚拟助教的动画视频。
❓ 常见问题解答(FAQ)
FantasyTalking适合做虚拟主播吗?

适合。它支持从单张肖像生成可说话的视频,并能同步口型、表情和身体动作,适用于新闻播报、直播带货、在线教育等虚拟主播场景,且支持多种风格与姿态。

FantasyTalking和普通口型驱动有什么区别?

它不只做唇形同步,还通过双阶段视听对齐学习全局运动,再用唇部追踪掩码细化帧级口型,同时加入面部专注交叉注意力和运动强度调制,能控制表情与身体动作。

FantasyTalking支持哪些输入和输出效果?

文章显示它以单张静态肖像为输入,结合音频生成高质量说话视频;可支持特写、半身、全身以及正面和侧面姿势,并兼容写实和卡通等多种虚拟形象风格。

🔬 语宙深潜追问 · 进阶实操拆解
静态肖像做数字人靠谱吗?

靠谱,尤其适合低成本内容生产和虚拟主播。静态肖像方案的优势是素材门槛低、制作快,但要注意身份授权、风格一致性和长时视频的稳定性,否则容易出现“像但不活”的问题。

视听对齐最难解决什么?

最难的是语音节奏、口型细节和情绪动作的同步。实操上要分开处理唇部、面部和身体运动,再通过掩码和强度调制做统一约束,才能减少穿帮和机械感。

🗳️ 读者观点微投票 · 您的实战立场是?
数字人落地先拼口型还是先拼表情?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🎬 所属权威专题:AI 视频生成与影视工作流 →
  • SadTalker – 开源AI数字人项目,一键让照片说话
  • 趣丸科技发布Playmate框架:音频驱动,精准控制表情与姿态的AI人脸动画生成革命
  • 英伟达Audio2Face重磅开源!AI语音驱动面部动画技术革新,游戏与虚拟人应用迎来效率革命
  • 美团开源InfiniteTalk:用稀疏帧实现高精度数字人驱动,口型表情动作完美同步
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
1024张NPU统一编址、推理延时压至5ms!华为昇腾950超节点斩获世界互联网大会顶级科技奖:深度拆解灵衢互联、45%超高算力利用率与万亿大模型底座架构
AlphaFold 3 – 谷歌DeepMind开源的结构预测统一框架
LLaVA-OneVision-1.5重磅发布:低成本高性能多模态模型,全栈开源助力AI应用爆发
半年狂揽163亿却亏损807亿!Anthropic IPO招股书草案曝光:背负7500亿美元不可取消算力枷锁,透视大模型巨头的商业生死局与AI基建黑洞
GR00T N1 – 英伟达开源的人形机器人基础模型
TAGGED:AI视频生成AI音频与语音可灵AI开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 X-Dancer – 字节等机构推出音乐驱动的人像舞蹈视频生成框架 X-Dancer – 字节等机构推出音乐驱动的人像舞蹈视频生成框架
下一篇 TripoSR – Stability AI 联合 VAST 开源的 3D 生成模型 TripoSR – Stability AI 联合 VAST 开源的 3D 生成模型
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

小米具身智能机器人“实习”新工站:双侧螺母上件成功率达98%
AIGC 资讯

小米具身智能机器人“实习”新工站:双侧螺母上件成功率达98%

Prompt 语宙研究院
3D与空间智能 AI办公效率 AI智能体 开源大模型
LingBot-VLA 2.0 – 蚂蚁灵波开源的新一代具身智能基座模型
AIGC 资讯

LingBot-VLA 2.0 – 蚂蚁灵波开源的新一代具身智能基座模型

Prompt 语宙研究院
3D与空间智能 AI智能体 开源大模型
Skywork R1V – 昆仑万维开源的多模态思维链推理模型
AIGC 资讯

Skywork R1V – 昆仑万维开源的多模态思维链推理模型

Prompt 语宙研究院
AI智能体 HuggingFace 大模型微调 开源大模型
FlagevalMM – 智源开源的多模态模型评测框架
AIGC 资讯

FlagevalMM – 智源开源的多模态模型评测框架

Prompt 语宙研究院
AI智能体 Claude Sora 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.