SeFi-Image – 开源的文本到图像模型，基于语义优先扩散

SeFi-Image是什么

SeFi-Image 是基于语义优先扩散的文本到图像模型，提供 1B、2B、5B 三种规格。模型将高层语义结构与纹理细节分离，让语义流提前去噪，为纹理生成提供清晰的结构锚点。5B 模型用 125K A800 GPU 小时训练，在 GenEval、LongTextBench、CVTG-2K 和 OneIG 等基准上表现强劲，支持场景合成、富文本排版、动漫角色、风格多样性及人像生成。

SeFi-Image的主要功能

• 文本到图像生成：基于文本提示生成高质量图像，支持自然语言描述。
• 多规格模型：提供 1B、2B、5B 三种参数规模，适应不同算力需求。
• 语义优先扩散：将语义结构与纹理细节分离，实现更清晰的几何和组合控制。
• 多领域支持：覆盖场景合成、富文本排版、动漫角色、风格化艺术及人像生成。
• 长文本渲染：支持中英文长文本提示，在 LongTextBench 上表现领先。

SeFi-Image的技术原理

• 语义-纹理解耦架构：SeFi-Image 采用语义优先扩散架构，将图像生成过程拆分为语义流和纹理流两条独立的去噪轨迹。
• 时序偏移机制：模型引入时序偏移机制，让语义流提前一个时间步开始去噪，为纹理生成提供清晰的结构锚点。
• 三阶段生成流程：整个生成过程分为三个阶段：第一阶段进行语义初始化，第二阶段实现语义与纹理的异步联合去噪，第三阶段完成纹理的精修补全。
• 重建-生成平衡：架构在提升纹理重建保真度的同时，会增加扩散模型的训练难度，实现重建与生成的有效平衡。

微信关注回复“开源”，加入AI开源项目交流群

如何使用SeFi-Image

• 获取资源：访问 SeFi-Image 官网或 arXiv 页面，下载论文、开源代码及对应规格的模型权重文件。
• 配置环境：在本地服务器或工作站上安装 PyTorch 等深度学习依赖，准备与模型规模匹配的 GPU 显存资源。
• 加载模型：将下载的 1B、2B 或 5B 模型检查点加载到推理框架中，完成权重初始化与参数设置。
• 输入提示：编写包含场景描述、风格要求或文字内容的中英文文本提示，支持长文本与复杂组合描述。
• 执行生成：运行语义优先扩散采样流程，模型将先完成语义结构去噪，再基于语义锚点进行纹理细节生成。
• 输出图像：将最终去噪完成的潜变量通过解码器转换为像素图像，并保存为所需分辨率与格式的输出文件。

SeFi-Image的核心优势

• 精准结构控制：语义优先机制使模型能对复杂的空间组合和文本排版实现更精准的结构控制。
• 低训练成本：5B 参数模型仅使用 125K A800 GPU 小时完成训练，用较低的算力成本达到第一梯队的生成性能。
• 长文本领先：在长文本渲染评测中，SeFi-Image 在 LongTextBench 上取得 0.978 分，显著领先于同类竞品。
• 视觉文本准确：模型在 CVTG-2K 字符级视觉文本生成测试中达到 0.895 的准确率，生成的海报和标签具有高度可读性。
• 多基准第一：SeFi-Image 在 GenEval、OneIG-EN 等多项权威基准测试中均排名第一，展现出全面的生成能力。

SeFi-Image的项目地址

• 项目官网：https://jmliu206.github.io/sefi-web/
• GitHub仓库：https://github.com/jmliu206/SeFi-Image
• HuggingFace模型库：https://huggingface.co/SeFi-Image
• arXiv技术论文：https://arxiv.org/pdf/2606.22568

SeFi-Image的同类竞品对比

SeFi-Image的应用场景

• 广告海报设计：在广告与海报设计领域，SeFi-Image 能生成包含清晰可读文字的品牌海报、产品菜单和商品标签。
• 动漫角色创作：对于动漫与角色创作，模型支持生成动漫角色、奇幻场景以及全身或特写等多种构图形式。
• 自然场景生成：在自然场景与景观生成方面，SeFi-Image 可创作天气、城市、动物及自由宽高比的风景图像。
• 艺术风格创作：模型支持插画、水墨、毛绒玩具、贴纸、素描等多种艺术风格，适用于风格化视觉内容创作。
• 人像摄影辅助：在人像与摄影辅助场景中，SeFi-Image 能生成具有多样光照、姿态和材质的人像及环境肖像。