💡 站外导读：随着AIGC浪潮席卷全球，文本到图像生成技术虽已取得长足进步，但如何让AI生成的图像更符合人类审美、避免“奖励黑客”导致的低质量输出，并实现高效、灵活的个性化优化，仍是行业核心痛点。腾讯混元团队最新推出的SRPO模型，正是针对这些挑战给出了突破性解决方案。它将奖励信号融入文本条件，并通过创新的Direct-Align技术，显著提升了生成图像的真实感和审美质量，同时将优化时间压缩至惊人的10分钟，为数字艺术、广告营销、游戏影视等多个领域带来了生产力变革的曙光。
SRPO是什么
SRPO（Semantic Relative Preference Optimization）是腾讯混元推出的文本到图像生成模型，通过将奖励信号设计为文本条件信号，实现对奖励的在线调整，减少对离线奖励微调的依赖。SRPO引入Direct-Align技术，通过预定义噪声先验直接从任何时间步恢复原始图像，避免在后期时间步的过度优化问题。在FLUX.1.dev模型上的实验表明，SRPO能显著提升生成图像的人类评估真实感和审美质量，且训练效率极高，仅需10分钟即可完成优化。
SRPO的主要功能
-
提升图像生成质量：通过优化扩散模型，使生成的图像在真实感、细节丰富度和审美质量上显著提升。
-
在线奖励调整：支持用户通过文本提示动态调整奖励信号，实时改变图像生成的风格和偏好，无需对奖励模型进行离线微调。
-
增强模型的适应性：使扩散模型能更好地适应不同的任务需求和人类偏好，例如在不同的光照条件、风格或细节层次上进行优化。
-
提高训练效率：通过优化扩散过程的早期阶段，SRPO能在短时间内（如10分钟）完成模型的训练和优化，显著提高训练效率。
SRPO的技术原理
-
Direct-Align技术：在训练过程中，SRPO向干净的图像中注入高斯噪声，通过单步去噪操作恢复原始图像。通过这种方式，SRPO能有效地避免在扩散过程的后期时间步中出现的过度优化问题，减少奖励黑客行为（如模型利用奖励模型的偏差生成低质量图像）。与传统方法相比，SRPO能在早期时间步进行优化，有助于提高训练效率和生成质量。
-
Semantic Relative Preference Optimization（SRPO）：将奖励信号设计为文本条件信号，通过正负提示词对奖励信号进行调整。通过计算正负提示词对的奖励差异优化模型。SRPO支持在训练过程中动态调整奖励信号，使模型根据不同的任务需求实时调整生成策略。
-
奖励聚合框架：为提高优化的稳定性，SRPO在训练过程中会多次注入噪声，生成一系列中间图像，对每个图像进行去噪和恢复操作。通过使用衰减折扣因子对中间奖励进行聚合，SRPO能有效地减少在后期时间步中出现的奖励黑客行为，提高生成图像的整体质量。
SRPO的项目地址
- 项目官网：https://tencent.github.io/srpo-project-page/
- GitHub仓库：https://github.com/Tencent-Hunyuan/SRPO
- HuggingFace模型库：https://huggingface.co/tencent/SRPO
- arXiv技术论文：https://arxiv.org/pdf/2509.06942v2
SRPO的应用场景
- 数字艺术创作：艺术家和设计师生成高质量的数字艺术作品，通过文本提示动态调整图像风格，实现从概念草图到最终作品的快速迭代。
- 广告与营销：广告公司生成符合特定品牌风格和市场定位的图像，快速生成多种设计选项，提高创意效率。
- 游戏开发：游戏开发者生成高质量的游戏纹理、角色设计和场景背景，提升游戏的视觉效果和玩家体验。
- 影视制作：在电影和电视剧的制作中，用在生成逼真的特效场景、背景和角色，减少后期制作的时间和成本。
- 虚拟现实（VR）和增强现实（AR）：模型能生成高质量的虚拟环境和物体，提升VR和AR应用的沉浸感和真实感。
📝 站长洞察 (Editor’s Insight)
SRPO的发布，远不止是腾讯在文生图领域的一次技术迭代，它精准地击中了当前AIGC发展从“可用”迈向“好用”的关键瓶颈——即如何高效、可控地对齐模型输出与人类复杂、动态的审美偏好。其核心洞察在于，将优化的焦点从静态的奖励模型调参，转向了基于文本的动态奖励信号在线调整，这本质上是将“人类反馈”以更结构化、更实时的方式嵌入了生成过程。结合Direct-Align对后期时间步优化的规避，它有效解决了奖励模型被“钻空子”的经典难题。这预示着下一代AIGC工具的核心竞争力，将不仅是生成速度，更是对人类意图理解与实现的“深度”与“灵活性”。SRPO以极低的训练成本（10分钟）实现高质量优化，为中小团队和个体创作者参与高水平的AIGC应用开发打开了大门，必将加速AI生成内容在商业与创意领域的渗透与普及。
