ExAvatar – Meta推出的3D数字形象生成模型

ExAvatar是什么

ExAvatar是DGIST和Meta公司Codec Avatars Lab联合推出的3D数字形象生成模型，通过简短视频克隆人像并转化为3D数字形象。支持手机扫描快速捕捉全身动作和表情，转化为逼真的3D模型。ExAvatar结合SMPL-X模型和3D高斯技术，实现高质量动态渲染，支持全身动画，减少伪影，提供自然流畅的体验。适用于动画、游戏和VR/AR等领域，简化了3D头像创建过程，拓宽了应用场景。

ExAvatar的主要功能

• 全身3D驱动：支持全身动作和表情的动画制作，包括身体、手部和面部。
• 混合表示法：结合3D高斯和表面网格技术，提高几何和外观的一致性，减少动画中的伪影。
• 便捷捕捉：使用手机扫描即可快速创建3D头像，操作简单。
• 高质量渲染：利用先进算法实现动态表现和视觉效果的高质量渲染。
• 技术优化：通过SMPL-X模型和多层感知器（MLP）处理，优化手部和面部的表现力和自然度。

ExAvatar的技术原理

• SMPL-X全身参数化网格模型：ExAvatar采用了SMPL-X模型来捕捉人体的姿势和动作。SMPL-X是一个高度参数化的3D人体模型，能精确地模拟人体的各种姿态。
• 3D高斯溅射技术（3DGS）：用于提高渲染的真实性和效率，通过模拟光线在表面的散射，3D模型看起来更加逼真。
• 混合表示法：ExAvatar结合了3D高斯和表面网格，确保在不同姿势下的几何和外观一致性，减少新姿势下可能出现的伪影。
• 多层感知器（MLP）：用于处理每个高斯的特征，提取关键信息，并将这些信息与标准网格结合，形成可在标准空间中动画化的3D头像。
• 线性混合插值（LBS）算法：用于动画处理，通过这种方式，ExAvatar能生成平滑且自然的过渡动作。
• 关节偏移量和面部偏移量：在训练ExAvatar之前，研究团队对身体、手和面部进行了共同配准，并引入了这些偏移量来优化手部骨骼长度和面部区域形状，提升头像的表现能力和自然度。
• 基于连接的正则化器：减少新表情和姿势的伪影，通过预定义的连接性，确保3D高斯与SMPL-X的网格拓扑结构相匹配。

ExAvatar的项目地址

ExAvatar的应用场景

• 3D动画制作：动画师可使用ExAvatar快速创建逼真的3D角色，用于动画电影、电视剧或短片的制作。
• 游戏开发：游戏开发者可以用ExAvatar技术为游戏角色设计动态的全身动作和表情，提升游戏体验。
• 虚拟现实（VR）：在VR环境中，用户可以通过ExAvatar生成自己的3D形象，进行沉浸式体验。
• 增强现实（AR）：ExAvatar可以用于AR应用中，例如在社交媒体、广告或教育应用中增加互动性。
• 电影特效：电影特效师可以用ExAvatar技术来捕捉演员的动作和表情，用于后期的特效制作。