Sketch2Anim是什么
Sketch2Anim 是爱丁堡大学联合Snap Research、东北大学推出的自动化框架，能将2D草图故事板直接转换为高质量的3D动画。基于条件运动合成技术，用3D关键姿势、关节轨迹和动作词精确控制动画的生成。框架包含两个核心模块，多条件运动生成器和2D、3D神经映射器。Sketch2Anim能生成自然流畅的3D动画，支持交互式编辑，极大地提高动画制作的效率和灵活性。
Sketch2Anim的主要功能
- 自动转换：将2D草图故事板快速转换为3D动画，减少手动制作的繁琐步骤。
- 高质量动画：生成流畅、自然的3D动画，支持多个片段的平滑过渡。
- 交互编辑：用户能实时调整生成的动画，如修改关键姿势或轨迹，提升设计灵活性。
- 提高效率：自动化流程显著提高动画制作效率，支持快速迭代设计。
Sketch2Anim的技术原理
- 多条件运动生成器：基于运动扩散模型（motion diffusion model），结合轨迹ControlNet和关键姿势适配器（keypose adapter）。轨迹ControlNet负责将关节轨迹嵌入到运动扩散模型中，控制全局动态运动。关键姿势适配器在轨迹ControlNet的基础上，进一步细化局部静态姿势，确保生成的动画精确符合输入的关键姿势。
- 2D-3D神经映射器：包含2D和3D的关键姿势和轨迹编码器。在共享嵌入空间中对齐2D草图和3D运动约束，实现直接的2D到3D动画控制。
- 运动融合与优化：基于确定性DDIM逆过程和引导去噪，将多个动画片段平滑过渡，生成完整的动画。用分类器自由引导和二阶优化方法，进一步优化生成的动画，更符合输入的2D条件。
- 数据处理与增强：用HumanML3D数据集进行训练，包含14,646个动作和44,970个对应的运动注释。基于相机视图增强、关节扰动和身体比例扰动，生成多样化的2D关键姿势和轨迹，提高模型的泛化能力。
Sketch2Anim的项目地址
Sketch2Anim的应用场景
- 影视动画：用在影视制作的前期预览，提高效率。
- 游戏开发：加快游戏动作设计和剧情动画制作。
- 广告宣传：把创意草图变成3D动画广告，增强视觉效果，吸引观众。
- 教育培训：帮助学生更好地理解复杂知识。
- VR/AR应用：将2D草图直接转换为沉浸式3D动画，丰富虚拟场景。
