FaceShot是什么
FaceShot是同济大学、上海 AI Lab和南京理工大学推出的新型无需训练的肖像动画生成框架。用外观引导的地标匹配模块和基于坐标的地标重定位模块,为各种角色生成精确且鲁棒的地标序列,基于潜在扩散模型的语义对应关系,跨越广泛的角色类型生成面部动作序列。将地标序列输入预训练的地标驱动动画模型生成动画视频。FaceShot突破对现实肖像地标的限制,适用于任何风格化的角色和驱动视频,或作为插件与任何地标驱动的动画模型兼容,显著提升整体性能。

FaceShot的主要功能
- 角色动画生成:为各种类型的角色生成流畅且自然的面部动画,保持角色的原始特征。
- 跨领域动画:支持从人类视频驱动非人类角色(如玩具、动物等)的动画,扩展肖像动画的应用范围。
- 无需训练:无需针对每个角色或驱动视频进行额外的训练或微调,直接生成高质量的动画。
- 兼容性:作为插件与任何地标驱动的动画模型无缝集成。
FaceShot的技术原理
- 外观引导的地标匹配模块:基于潜在扩散模型的语义对应关系,结合外观先验知识,为任意角色生成精确的面部地标。用DDIM逆过程从参考图像和目标图像中提取扩散特征,基于图像提示减少不同领域之间的外观差异。用余弦距离进行地标匹配,确保地标在语义上的一致性,引入外观画廊进一步优化匹配效果。
- 基于坐标的地标重定位模块:基于坐标系变换捕捉驱动视频中的细微面部动作,生成与之对齐的地标序列。模块分为全局运动和局部运动两个阶段,全局运动负责计算面部的整体平移和旋转,局部运动则分别对眼睛、嘴巴、鼻子、眉毛和面部边界等部分进行相对运动和点运动的重定位。基于简单的坐标变换公式,模块能精确捕捉面部的全局和局部运动,生成稳定的地标序列。
- 地标驱动的动画模型:模块将生成的地标序列输入预训练的动画模型(如MOFA-Video),生成最终的动画视频。将地标序列作为额外条件输入到动画模型的U-Net中,确保模型能精确跟踪地标序列中的运动。基于这种方式,动画模型能用地标序列生成与驱动视频一致的动画效果,保持角色的视觉身份,实现高质量的肖像动画生成。
FaceShot的项目地址
- 项目官网:https://faceshot2024.github.io/faceshot/
- GitHub仓库:https://github.com/open-mmlab/FaceShot
- arXiv技术论文:https://arxiv.org/pdf/2503.00740
FaceShot的应用场景
- 影视娱乐:为电影、电视剧中的角色生成生动动画,提升视觉效果。
- 游戏开发:快速生成游戏角色动画,增强表现力和趣味性。
- 教育领域:使教育内容更生动,提高学生学习兴趣和教学互动性。
- 广告营销:生成品牌吉祥物动画,提升品牌形象和用户参与感。
- VR/AR应用:生成虚拟角色动画,提升沉浸感和交互体验。
❓ 常见问题解答(FAQ)
FaceShot适合哪些角色动画生成?
FaceShot面向任意风格化角色都可用,不仅能做人类肖像动画,也支持玩具、动物等非人类角色。它通过地标匹配与重定位生成稳定序列,再交给预训练动画模型输出视频。
FaceShot为什么说是无需训练的框架?
因为它不需要针对每个角色或驱动视频单独微调。系统先生成适配目标角色的地标序列,再输入预训练地标驱动模型完成动画生成,省去额外训练成本。
FaceShot能和现有动画模型一起用吗?
可以。FaceShot可作为插件与任何地标驱动的动画模型兼容,例如文中提到的MOFA-Video。它把生成的地标序列作为额外条件输入模型,从而增强跟踪与动画质量。
🔬 语宙深潜追问 · 进阶实操拆解
任意角色动画最关键的技术点是什么?
最关键的是把驱动视频的运动信息和目标角色的外观信息解耦,再做稳定重定位。这样才能在玩具、动物等不同域之间迁移表情和动作,同时尽量保住身份特征,不至于一动就“变脸”。
如何兼容现有地标驱动模型?
要在地标映射层做统一接口,把目标角色的关键点空间对齐到驱动视频的运动轨迹。这样可以复用已有动画管线,只在前端增加外观引导和坐标重定位模块,迁移成本会低很多。
🗳️ 读者观点微投票 · 您的实战立场是?
跨域肖像动画,身份保持比动作迁移更难吗?
