FitDiT – 腾讯联合复旦推出的高保真虚拟试穿技术

FitDiT是什么

FitDiT是高保真虚拟试穿技术，是腾讯和复旦大学联合推出的。基于Diffusion Transformers（DiT）关注高分辨率特征，提升服装细节的呈现。FitDiT用服装纹理提取器和服装先验演化技术，增强对服装纹理如条纹、图案和文字的捕捉能力。用扩张-松弛掩码策略，优化服装尺寸适配问题。FitDiT在定性和定量评估中表现优异，能快速生成具有真实感和复杂细节的试穿图像，推理速度快，为虚拟试穿领域带来突破。

FitDiT的主要功能

• 高保真虚拟试穿：生成逼真的试穿图像，让用户在不同场景下看到自己穿上特定服装的效果。
• 纹理感知保持：基于服装纹理提取器和服装先验演化，精确捕捉和再现服装上的复杂纹理，如条纹、图案和文字。
• 尺寸感知拟合：用扩张-松弛掩码策略，适应不同服装的长度和形状，防止在跨类别试穿时服装形状信息的泄露，实现更准确的服装拟合。
• 快速推理：在保持高保真试穿效果的同时，优化DiT结构，让单张1024×768图像的推理时间仅为4.57秒，提高试穿过程的效率。

FitDiT的技术原理

• Diffusion Transformers (DiT)：FitDiT基于DiT架构，基于分配更多的参数和注意力给高分辨率特征，增强对服装细节的处理能力。
• 服装纹理提取器：引入专门的服装纹理提取器，基于服装先验演化微调服装特征，更好地捕捉服装的丰富细节。
• 频域学习：基于定制的频率距离损失函数，增强高频服装细节，提升服装纹理和细节的保真度。
• 扩张-松弛掩码策略：为解决尺寸感知拟合问题，采用扩张-松弛掩码策略，适应服装的正确长度，防止在跨类别试穿时生成覆盖整个掩码区域的服装，提高试穿的准确性。
• 结构瘦身：对DiT结构进行优化，移除对虚拟试穿影响较小的文本编码器，减少模型的参数量，提高模型训练和推理的速度。
• 混合注意力机制：在DenoisingDiT中用混合注意力机制，将从GarmentDiT提取的服装特征注入到去噪过程中，实现高分辨率特征的融合。

FitDiT的项目地址

• 项目官网：byjiang.com/FitDiT
• GitHub仓库：https://github.com/BoyuanJiang/FitDiT
• arXiv技术论文：https://arxiv.org/pdf/2411.10499

FitDiT的应用场景

• 电子商务平台：服装零售网站，让消费者在线上购物时看到自己穿上不同服装的效果，提升购物体验和满意度。
• 时尚行业：设计师展示设计作品，让顾客在购买前预览服装的实际穿着效果，增加设计的吸引力。
• 个性化定制：服装定制服务为客户提供个性化的试穿体验，确保定制服装的尺寸和样式完全符合顾客的需求。
• 增强现实（AR）和虚拟现实（VR）：在AR和VR应用中，提供更加真实的试穿体验，用户在虚拟环境中试穿服装，为虚拟形象装扮。
• 社交媒体：社交媒体平台，让用户在分享照片或视频时能够试穿不同的服装风格，增加互动性和娱乐性。