SmoothCache – Roblox 和女王大学推出用于DiT的通用推理加速技术

SmoothCache是什么

SmoothCache 是用在Diffusion Transformers （DiT）模型的通用推理加速技术，是 Roblox 和女王大学的研究团队推出。基于分析相邻扩散时间步的层输出相似性，自适应地缓存和重用关键特征，减少计算需求。实验显示，SmoothCache 能实现8%到71%的加速，并保持或提升生成质量，适用于图像、视频和音频等多种模态，有助于推动 DiT 模型在实时应用中的广泛使用。

SmoothCache的主要功能

• 推理加速：加速Diffusion Transformers (DiT) 模型的推理过程，减少模型运行时的计算成本。
• 模型无关性：应用于不同的DiT架构，无需针对特定模型进行训练或调整。
• 质量保持：在加速的同时，保持甚至提高生成模型的质量，确保推理过程中输出的质量和原始模型相当。
• 跨模态适用性：SmoothCache适用于图像生成，还能扩展到视频和音频等多种模态，显示其广泛的适用性。
• 易于集成：轻松集成到现有的DiT模型推理流程中，与不同的求解器兼容，无需对模型架构进行修改。
• 性能提升：基于缓存关键特征，减少重复计算，在不同模态上实现8%到71%的加速效果。

SmoothCache的技术原理

• 层输出相似性：基于观察到的在相邻扩散时间步之间DiT模型层输出的高相似性。
• 自适应缓存：分析一个小校准集的层表示误差，SmoothCache动态决定在去噪过程中哪些特征应该被缓存。
• 特征重用：在推理过程中，重用之前缓存的特征，避免重复的计算，减少资源密集型操作。
• 误差分析：基于层级表示误差确定不同扩散步骤之间特征的相似度，据此制定缓存策略。
• 静态缓存方案：基于误差分析，生成一个静态的缓存方案，用在推理过程中指导特征的缓存和重用。

SmoothCache的项目地址

• GitHub仓库：https://github.com/Roblox/SmoothCache
• arXiv技术论文：https://arxiv.org/pdf/2411.10510

SmoothCache的应用场景

• 图像生成：在内容创作、游戏设计和数字艺术中快速生成图像素材。
• 视频生成：从文本提示生成视频内容，适用于电影制作、视频游戏和在线广告。实现实时视频效果和动态背景的生成。
• 音频生成：根据文本描述生成相应的音频或音乐，适用于音乐制作、语音合成和有声读物。
• 3D模型生成：快速生成3D模型，用于建筑可视化、游戏开发和虚拟现实应用。
• 增强现实（AR）和虚拟现实（VR）：在AR/VR应用中实时生成和渲染高质量的虚拟内容。