Stability AI 于7月26日正式发布了我们期待已久的 SDXL 1.0。小编整理了些关于 SDXL 1.0 的相关内容跟大家分享。
下面是模型的简单介绍、使用方式和相关的资源链接
SDXL的特点:
SDXL 由两个模型组成,第二个模型可以生成更鲜艳、更准确的颜色,并且比其前身具有更好的对比度、光照和阴影。
SDXL 1.0 是所有开放获取图像模型中参数数量最多的模型之一,拥有 3.5B 参数基础模型和 6.6B 参数模型集成管道。
据官方介绍,SDXL 1.0 相比之前的模型,优势主要体现在以下几个方面:
- 可以直接根据文本生成生成任何艺术风格的高质量图像,无需其他训练模型辅助,写实类的表现是目前所有开源文生图模型里最好的。
- 根据简单的提示词就能生成复杂、精致且美观的图像,不再需要调用 “masterpiece”“best quality” 等词语。
- 可直接生成 1024×1024 的图像,色彩也更鲜艳、准确,在对比度、光照和阴影的处理上也比之前要好很多。
- 在文本、物体空间排列、手部等内容的处理上表现很好。
- 可以理解 “The Red Square”(著名地点)与“red square”(形状)等概念之间的差异。
如何 在 WebUI 中使用 SDXL:
- 首先下载开源的模型文件,现在 WebUI 已经支持了 SDXL 模型:
https://github.com/Stability-AI/generative-models
如果无法访问上面的 URL 地址, 可以试试看这个:
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main; - 将下载到的模型文件放到 \models\Stable-diffusion 这个文件夹中;
- 启动 Web UI 后将左上角 Stable Diffusion checkpoint 位置的模型切换为 sd_xl_base_1.0.safetensors;
- 其他正常设置,生成图像建议1024分辨率起步,因为 SDXL 是在1024的基础上训练的;
- 图片生成以后可以将图片发送到 img2img,然后切换 Stable Diffusion checkpoint 位置的模型为sd_xl_refiner_1.0.safetensors 如果不想原图变太多的话可以把 Denoising strength 权重调整为0.2-0.3再次生成;
需要注意的是 SDXL 1.0 的 vea 由于数字水印的问题生成的图像会有彩色条纹的伪影存在,可以使用 0.9 的 vae 文件解决这个问题,有大佬做了一个修复的模型和 vae 整合版本:https://huggingface.co/bdsqlsz/stable-diffusion-xl-base-1.0_fixvae_fp16
相关资源链接:
- 如果有 Colab 会员的话也可以用这个链接体验 web ui 版本一键部署:
https://colab.research.google.com/github/camenduru/sdxl-colab/blob/main/sdxl_v1.0_webui_colab.ipynb; - Clipdrop 线上体验:
https://clipdrop.co/stable-diffusion - 在 Stability API 调用相关接口:
https://platform.stability.ai/docs/release-notes - 在 Dream studio 也可以在线体验 SDXL:
https://dreamstudio.ai/ - 基于 SDXL 训练的模型:
https://civitai.com/models/112902/dreamshaper-xl10
官方放出的 SDXL 1.0 生成图片: