SUPIR是什么
SUPIR（Scaling-UP Image Restoration）是一个突破性的图像修复和画质增强方法，利用了大规模的生成模型StableDiffusion-XL（SDXL）和模型扩展技术，通过深度学习和多模态方法，实现了对低质量图像的高质量恢复。该方法支持通过文本提示进行图像恢复的精细控制，能够根据用户的输入调整恢复的各个方面，如物体的纹理和场景的语义内容。SUPIR由来自中国科学院深圳先进技术研究院、上海AI实验室、悉尼大学、香港理工大学、腾讯ARC实验室和香港中文大学的研究人员共同推出。
SUPIR的官网入口
- 官方项目主页：https://supir.xpixel.group/
- GitHub源码库：https://github.com/Fanghua-Yu/SUPIR
- arXiv研究论文：https://arxiv.org/abs/2401.13627
SUPIR的主要功能
- 高质量图像修复：SUPIR能够将低质量的图像恢复到接近原始状态的高质量版本，可以处理由于各种原因（如压缩、噪点、模糊等）导致的图像退化。
- 修复多种类型的图像：SUPIR能够有效修复多种类型的退化图像，包括风景、人脸、动物、游戏画面、老电影和老照片，可增强图像细节，恢复清晰度和真实感，让图像焕发新生。
- 文本提示引导修复：SUPIR允许用户通过文本提示来指导图像恢复的过程，可以指定恢复的特定方面，例如修复图像中的某个模糊物体、改变物体的材质纹理，或者根据高级语义调整图像的恢复效果。
- 负质量提示：SUPIR使用负质量提示来提高图像的感知质量，通过告诉模型哪些图像特征是不期望的（例如“油画效果、卡通化、模糊、脏乱、低质量”等），模型可以在恢复过程中避免这些特征，从而提升图像的整体质量。
SUPIR的工作原理
- 生成性先验：SUPIR使用StableDiffusion-XL（SDXL）作为其生成性先验（Generative Prior），一个包含26亿参数大型的预训练图像生成模型。生成性先验是模型学习到的图像数据分布的知识，用于指导图像的生成和恢复过程。
- 数据集和文本注释：为了训练SUPIR，研究者收集了一个包含2000万张高分辨率、高质量的图像的数据集，每张图像都有详细的描述性文本注释。这些注释提供了图像内容的额外信息，使得模型能够更好地理解和恢复图像。
- 适配器：为了有效地应用SDXL模型，研究者设计并训练了一个适配器，该适配器具有超过6亿参数。适配器的作用是识别低质量图像中的内容，并在像素级别上精细控制生成过程。
- 文本提示控制：SUPIR能够根据用户提供的文本提示来指导图像的恢复，提示词可以是关于图像内容的具体描述，也可以是关于期望图像质量的高级语义描述。
- 负质量提示和训练样本：为了提高图像的感知质量，SUPIR引入了负质量提示，帮助模型理解不希望出现的图像特征。研究者通过使用SDXL生成对应于负质量提示的图像，并将这些图像纳入训练数据中，以确保模型能够学习到这些负质量概念。
- 恢复引导采样：为了防止生成过程中的图像失真，SUPIR采用了一种新颖的恢复引导采样方法，在扩散过程中有选择性地引导预测结果接近低质量图像，以保持恢复的一致性。
- 模型训练和采样设置：SUPIR在训练过程中使用了合成退化模型，并在64个Nvidia A6000 GPU上进行了为期10天的训练。测试时，模型能够处理1024×1024像素大小的图像。
SUPIR的应用场景
- 老照片修复：SUPIR可以用于修复老化、损坏或褪色的老照片，恢复其原始的色彩和细节，使珍贵的记忆得以保存和传承。
- 模糊图像增强：对于因手抖、对焦错误或运动模糊导致的照片，SUPIR能够通过先进的算法提高图像的清晰度，使得原本模糊的图像变得更加锐利。
- 噪点去除：在高ISO或低光照条件下拍摄的照片往往会有噪点。SUPIR能够有效地识别并去除这些噪点，同时保留图像的重要细节。
- 色彩校正和增强：SUPIR能够识别和修正色彩失真问题，如过度饱和或色彩偏差，使图像的色彩更加真实和生动。
