StableAnimator – 复旦联合微软等机构推出的端到端身份一致性视频扩散框架

StableAnimator是什么

StableAnimator是复旦大学、微软亚洲研究院、虎牙公司和卡内基梅隆大学共同推出的端到端高质量身份保持视频扩散框架。StableAnimator能根据一张参考图像和一系列姿态，无需任何后处理工具，直接合成高保真度且保持人物身份一致性的视频。StableAnimator框架基于计算图像和面部嵌入、用全局内容感知面部编码器优化面部信息、引入分布感知ID适配器减少时间层干扰，在推理阶段采用基于Hamilton-Jacobi-Bellman方程的优化方法提升面部质量。

StableAnimator的主要功能

• 身份保持的视频合成：StableAnimator能根据提供的参考图像和姿态序列，合成保持人物身份一致性的视频内容。
• 无需后处理：与传统的动画模型不同，StableAnimator无需依赖任何后处理工具，如面部交换工具或面部恢复模型，即可生成高质量动画。
• 高保真度：框架直接生成的视频具有高保真度，细节丰富，接近真实世界的人物动态和外观。
• 端到端框架：作为一个端到端的视频扩散框架，StableAnimator集成训练和推理模块，确保在整个动画生成过程中保持身份一致性。

StableAnimator的技术原理

• 图像和面部嵌入：StableAnimator使用现成的提取器分别计算图像和面部嵌入，为后续的身份保持提供基础特征。
• 全局内容感知面部编码器：基于与图像嵌入的交互，面部编码器能进一步优化面部特征，增强模型对参考图像全局布局的感知能力。
• 分布感知ID适配器：这一新颖组件能防止由于时间层引起的干扰，同时基于对齐操作保留身份信息，确保视频帧间的身份一致性。
• Hamilton-Jacobi-Bellman (HJB) 方程优化：在推理阶段，基于HJB方程进行面部优化，进一步增强面部质量。基于与扩散去噪过程相结合，用优化路径引导模型朝着最佳的身份一致性方向发展。
• 集成到扩散去噪过程：HJB方程的解决方案被集成到扩散去噪过程中，让去噪路径受到约束，有利于身份信息的保持。
• 多路径处理：参考图像基于三个路径处理：VAE编码、CLIP图像编码和Arcface面部编码，将信息用在调制合成外观和确保身份一致性。

StableAnimator的项目地址

• 项目官网：francis-rings.github.io/StableAnimator
• GitHub仓库：https://github.com/Francis-Rings/StableAnimator
• HuggingFace模型库：https://huggingface.co/FrancisRing/StableAnimator
• arXiv技术论文：https://arxiv.org/pdf/2411.17697

StableAnimator的应用场景

• 电影和视频制作：生成或增强电影和视频中的人物动作，让动作场景更加流畅和逼真，同时减少实地拍摄的成本和风险。
• 游戏开发：在游戏中创建具有真实动作和表情的角色，提升玩家的沉浸感和游戏体验。
• 虚拟现实（VR）和增强现实（AR）：在VR和AR中创建逼真的虚拟角色，为用户提供更加真实的互动体验，如虚拟导游、虚拟助手等。
• 社交媒体和直播：开发虚拟主播和影响者，在社交媒体上进行直播和互动，吸引更多粉丝和提高用户参与度。
• 广告和营销：定制个性化的广告内容，基于虚拟人物来吸引目标受众，提高广告的吸引力和记忆度。