# FantasyTalking – 阿里联合北邮推出静态肖像生成可控数字人的框架

- Link: https://paooo.com/aigc-news/20414/
- Published: 2026-06-08T10:51:54+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于预训练视频扩散变换器，FantasyTalking 可从单张静态肖像生成可动画化数字人。
 * 双阶段视听对齐先建全局运动，再细化唇部同步，兼顾身份一致性与口型精度。
 * 运动强度可显式调节，支持面部表情与身体动作控制，适配多姿态、多风格生成。

## FantasyTalking是什么

FantasyTalking 是阿里巴巴 AMAP 团队和北京邮电大学联合提出的新型框架，用于从单张静态
肖像生成逼真的可动画化虚拟形象。基于预训练的视频扩散变换器模型，采用双阶段视听对
齐策略，第一阶段通过片段级训练方案建立连贯的全局运动，第二阶段通过唇部追踪掩码在
帧级别细化唇部运动，确保与音频信号精确同步。框架引入面部专注的交叉注意力模块来保持
面部一致性，通过运动强度调制模块实现对表情和身体运动强度的控制。

阅读目录

 * [FantasyTalking是什么](https://paooo.com/aigc-news/20414/#fantasytalking%e6%98%af%e4%bb%80%e4%b9%88)
 * [FantasyTalking的主要功能](https://paooo.com/aigc-news/20414/#fantasytalking%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [FantasyTalking的技术原理](https://paooo.com/aigc-news/20414/#fantasytalking%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [FantasyTalking的项目地址](https://paooo.com/aigc-news/20414/#fantasytalking%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [FantasyTalking的应用场景](https://paooo.com/aigc-news/20414/#fantasytalking%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![FantasyTalking](https://paooo.com/wp-content/uploads/2026/06/FantasyTalking-website-
1-1.avif)

## FantasyTalking的主要功能

 * **口型同步**：能准确识别并同步虚拟角色的口型与输入语音，使角色在说话时的口型与
   语音内容完全一致，增强了角色的真实感和可信度。
 * **面部动作生成**：根据语音内容和情感信息，生成相应的面部动作，如眨眼、皱眉、微笑
   等，使虚拟角色的表情更加丰富和生动。
 * **全身动作生成**：能根据场景和情节需要，生成全身的动作和姿态，如行走、奔跑、跳跃
   等，使虚拟角色在动画中更加自然和流畅。
 * **运动强度控制**：通过运动强度调制模块，用户可以显式控制面部表情和身体运动的强度，
   实现对肖像运动的可控操纵，不仅限于唇部运动。
 * **多种风格支持**：支持多种风格的虚拟形象，写实风格、卡通风格，能生成高质量的对话
   视频。
 * **多种姿态支持**：支持生成具有各种身体范围和朝向的逼真说话视频，包括特写肖像、
   半身、全身以及正面和侧面姿势。

## FantasyTalking的技术原理

 * **双阶段视听对齐策略**
    - **片段级训练**：在第一阶段，通过片段级训练方案，模型会捕捉音频与整个场景（
      包括参考肖像、上下文对象和背景）之间的弱相关性，建立全局的视听依赖关系，实现
      整体特征融合。使模型能学习到与音频相关的非语言线索（如眉毛运动、肩膀动作）
      和强音频同步的唇部动态。
    - **帧级训练**：在第二阶段，模型专注于帧级与音频高度相关的视觉特征细化，特别
      是唇部动作。通过使用唇部追踪掩码，模型能确保唇部运动与音频信号精确对齐，提高
      生成视频的质量。
 * **身份保持**：传统的参考网络方法通常会限制视频中人物和背景的大范围自然变化。FantasyTalking
   采用面部专注的交叉注意力模块，集中建模面部区域，通过交叉注意力机制解耦身份保留
   与动作生成。更轻量级，能解放对背景和人物自然运动的限制，确保在整个生成的视频序列
   中保持角色的身份特征。
 * **运动强度调节**：FantasyTalking 引入了运动强度调制模块，能显式控制面部表情和
   身体运动的强度。使用户可以对肖像运动进行可控操纵，不仅限于唇部运动。通过调节运动
   强度，可以生成更加自然和多样化的动画。
 * **基于预训练的视频扩散变换器模型**：FantasyTalking 基于 Wan2.1 视频扩散变换器
   模型，基于时空建模能力，生成高保真、连贯的说话肖像视频。模型能有效捕捉音频信号
   与唇部运动、面部表情以及身体动作之间的关系，生成高质量的动态肖像。

## FantasyTalking的项目地址

 * **项目官网**：[https://fantasy-amap.github.io/fantasy-talking/](https://fantasy-amap.github.io/fantasy-talking/?utm_source=ai-bot.cn)
 * **Github仓库**：[https://github.com/Fantasy-AMAP/fantasy-talking](https://github.com/Fantasy-AMAP/fantasy-talking)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2504.04842](https://arxiv.org/pdf/2504.04842)

## FantasyTalking的应用场景

 * **游戏开发**：在游戏开发中，FantasyTalking 可用于生成游戏角色的对话动画和战斗
   动画。能根据语音内容生成精准的口型同步、丰富的面部表情和自然的全身动作，使游戏
   角色更加生动逼真，提升游戏的视觉效果和玩家的沉浸感。
 * **影视制作**：在影视制作中，可用于生成虚拟角色的表演动画和特效动画。通过 FantasyTalking
   可以快速生成具有复杂表情和动作的虚拟角色，减少传统动画制作中的人力和时间成本，
   为影视作品增添更多的创意和想象力。
 * **虚拟现实和增强现实**：在虚拟现实（VR）和增强现实（AR）应用中，FantasyTalking
   可以生成虚拟角色的交互动画和引导动画。
 * **虚拟主播**：FantasyTalking 可以用于生成虚拟主播的动画视频。支持多种风格的虚拟
   形象，虚拟主播可以用于新闻播报、直播带货、在线教育等多种场景，具有较高的实用性
   和灵活性。
 * **智能教育**：在智能教育领域，FantasyTalking 可以生成虚拟教师或虚拟助教的动画
   视频。

❓ 常见问题解答（FAQ）

FantasyTalking适合做虚拟主播吗？

适合。它支持从单张肖像生成可说话的视频，并能同步口型、表情和身体动作，适用于新闻
播报、直播带货、在线教育等虚拟主播场景，且支持多种风格与姿态。

FantasyTalking和普通口型驱动有什么区别？

它不只做唇形同步，还通过双阶段视听对齐学习全局运动，再用唇部追踪掩码细化帧级口型，
同时加入面部专注交叉注意力和运动强度调制，能控制表情与身体动作。

FantasyTalking支持哪些输入和输出效果？

文章显示它以单张静态肖像为输入，结合音频生成高质量说话视频；可支持特写、半身、全身
以及正面和侧面姿势，并兼容写实和卡通等多种虚拟形象风格。

🔬 语宙深潜追问 · 进阶实操拆解

静态肖像做数字人靠谱吗？

靠谱，尤其适合低成本内容生产和虚拟主播。静态肖像方案的优势是素材门槛低、制作快，
但要注意身份授权、风格一致性和长时视频的稳定性，否则容易出现“像但不活”的问题。

视听对齐最难解决什么？

最难的是语音节奏、口型细节和情绪动作的同步。实操上要分开处理唇部、面部和身体运动，
再通过掩码和强度调制做统一约束，才能减少穿帮和机械感。

🗳️ 读者观点微投票 · 您的实战立场是？

数字人落地先拼口型还是先拼表情？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🎬 所属权威专题：AI 视频生成与影视工作流 →](https://paooo.com/topics/ai-video-generation/)

 * [SadTalker – 开源AI数字人项目，一键让照片说话](https://paooo.com/aigc-news/27390/)
 * [趣丸科技发布Playmate框架：音频驱动，精准控制表情与姿态的AI人脸动画生成革命](https://paooo.com/aigc-news/14962/)
 * [英伟达Audio2Face重磅开源！AI语音驱动面部动画技术革新，游戏与虚拟人应用迎来效率革命](https://paooo.com/aigc-news/13546/)
 * [美团开源InfiniteTalk：用稀疏帧实现高精度数字人驱动，口型表情动作完美同步](https://paooo.com/aigc-news/13711/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/20414/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
