FabricDiffusion – 谷歌联合卡内基梅隆大学推出的高保真度3D服装生成技术

FabricDiffusion是什么

FabricDiffusion是谷歌和卡内基梅隆大学共同推出的高保真度3D服装生成技术，能将现实世界中2D服装图像的纹理和印花高质量地转移到任意形状的3D服装模型上。FabricDiffusion基于去噪扩散模型和大规模合成数据集纠正输入纹理图像的失真，生成包括漫反射、粗糙度、法线和金属度在内的多种纹理贴图，实现在不同光照条件下对3D服装进行精确的重新照明和渲染，展现出卓越的性能和泛化能力。

FabricDiffusion的主要功能

• 高质量纹理转移：将2D服装图像的纹理和印花自动提取、转移到3D服装模型上。
• 处理多种纹理：处理各种类型的纹理、图案和材料。
• 生成多种纹理贴图：能生成漫反射贴图，和生成粗糙度、法线和金属感的贴图。
• 跨光照条件渲染：支持在不同光照条件下对3D服装进行准确的重新照明和渲染。
• 零样本泛化：在完全使用合成渲染图像训练的情况下，泛化到现实世界的图像。

FabricDiffusion的技术原理

• 去噪扩散模型：用去噪扩散模型学习从失真的输入纹理图像中恢复出无失真、可平铺的纹理材料。
• 大规模合成数据集：构建包含超过100k纺织颜色图像、3.8k材质PBR纹理图、7k印花和22个3D服装网格的大规模合成数据集，训练模型。
• 纹理图像纠正：基于模型训练，纠正输入纹理图像中的失真，生成与基于物理的渲染（PBR）材质生成流程紧密结合的平坦纹理图。
• 特征转移：从单一服装图像中转移包括纹理图案、材质属性和详细印花和标志在内的各种特征。
• 归一化和可平铺：生成的纹理图是归一化的，在服装的UV空间中平铺，与现有的PBR材质估计流程无缝集成。
• 条件生成：模型根据输入的服装图像条件生成对应的纹理，实现从2D到3D的高质量纹理转移。

FabricDiffusion的项目地址

• 项目官网：humansensinglab.github.io/fabric-diffusion
• arXiv技术论文：https://arxiv.org/pdf/2410.01801

FabricDiffusion的应用场景

• 虚拟试衣：在电子商务和时尚零售中，创建虚拟试衣间，让消费者在线上试穿3D服装，提高购物体验。
• 游戏和娱乐：在游戏开发中，快速生成具有真实纹理的3D服装，增强游戏角色的视觉真实感。
• 虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，创建逼真的虚拟环境和角色，提升用户沉浸感。
• 电影和电视制作：在影视制作中，生成或修改服装纹理，提高特效和服装设计的效率。
• 时尚设计和原型制作：设计师探索新的设计和纹理，快速创建服装原型，加速设计迭代。