GenEvolve是什么
GenEvolve 是香港科技大学（广州）、美团与新加坡国立大学联合推出的自演进图像生成 Agent。GenEvolve 将开放式图像生成形式化为工具编排的视觉轨迹，Agent 通过搜索文本证据、检索视觉参考、调用生成知识，最终合成 prompt-reference program，交由任意参考条件生成器渲染。
阅读目录
GenEvolve的主要功能
-
文本搜索（search）：收集外部事实证据，补充真实建筑、公众人物、商品结构等世界知识。
-
图像搜索（image_search）：检索视觉参考图，获取地标、人物、材质等视觉参考。
-
生成知识查询（query_knowledge）：激活内部生成技能，处理文字渲染、空间布局、材质一致性等复杂需求。
-
Prompt-Reference Program 合成：将工具结果整合为可执行的生成程序，支持任意参考条件生成器渲染。
GenEvolve的技术原理
- 训练分为两阶段：
-
SFT 冷启动：在高质量 Teacher 轨迹上对 Qwen3-VL-8B-Instruct 做监督微调，学习基本工具调用和程序写法。
-
自我进化（Rollout）：对同一请求采样多条轨迹，渲染成图像后由视觉判分器和文本判分器共同打分，使用 GRPO 优化轨迹级奖励。
-
- 视觉经验自蒸馏（Visual Experience Distillation）： 比较同一请求下的最优与最差轨迹，将差异总结为结构化 Decision Guide，通过 token 级反向 KL 将教师分支的偏好蒸馏给学生模型，使模型学会”在类似请求时如何搜索、选参考、组织约束”的决策习惯。
微信关注回复“开源”，加入AI开源项目交流群
如何使用GenEvolve
-
克隆仓库：从 GitHub 下载 GenEvolve 代码到本地环境。
-
安装依赖：运行
pip install -r requirements.txt安装所需 Python 包。 -
下载模型：从 HuggingFace 下载
MeiGen-AI/GenEvolve的 Qwen3-VL-8B Agent 策略权重。 -
配置搜索工具：设置搜索引擎 API 密钥，启用
search和image_search工具调用。 -
加载生成知识：将八项技能 Markdown 文件放入指定目录，供
query_knowledge工具读取。 -
选择生成器：在 Qwen-Image-Edit或 Nano Banana Pro中选定后端并配置密钥。
-
初始化 Agent：实例化
GenEvolveAgent，传入模型路径、生成器名称和工具列表。 -
输入请求：调用
agent.run()方法，传入自然语言图像生成描述。 -
执行轨迹：Agent 自动搜索文本证据、检索视觉参考、调用生成知识并合成 prompt-reference program。
-
渲染图像：将 Agent 输出的程序传入配置好的生成器后端，得到最终生成图像。
GenEvolve的核心优势
-
生成器可迁移性：同一套 Agent 策略可搭配开源 Qwen-Image-Edit 或强生成器 Nano Banana Pro，策略不绑定特定生成器。
-
自我进化闭环：GRPO + 视觉经验自蒸馏形成”更强策略 → 更好轨迹 → 更丰富经验 → 未来改进”的闭环。
-
细粒度信用分配：相比纯 RL 的标量奖励，SDL 提供 token 级指导，明确好轨迹好在工具计划、参考选择还是约束写法。
-
跨基准泛化：在 WISE 知识密集型基准上不做 in-domain 微调，8B 开源策略超过 GPT-4o。
GenEvolve的项目地址
- 项目官网：https://ephemeral182.github.io/GenEvolve/
- GitHub仓库：https://github.com/MeiGen-AI/GenEvolve
- HuggingFace模型库：https://huggingface.co/MeiGen-AI/GenEvolve
GenEvolve的同类竞品对比
| 对比维度 | GenEvolve | Gen-Searcher |
|---|---|---|
| 核心机制 | 工具编排视觉轨迹 → prompt-reference program → 跨生成器渲染 | 搜索增强 → 直接生成 |
| Agent 架构 | 三工具闭环：search + image_search + query_knowledge | primarily 搜索工具调用 |
| 训练方法 | SFT 冷启动 + GRPO 轨迹优化 + 视觉经验自蒸馏（SDL） | 未公开明确的多阶段训练机制 |
| 自我进化 | ✅ 支持：通过 GRPO 和 SDL 形成”更强策略→更好轨迹→更丰富经验”的闭环 | ❌ 不支持：无持续优化机制 |
| 生成器可迁移性 | ✅ 核心设计：同一 Agent 输出可适配 Qwen-Image-Edit 或 Nano Banana Pro | ❌ 绑定特定生成器后端 |
| 开源程度 | 全栈开源：模型权重、运行时、工具、数据集、评测基准 | 开源程度有限 |
| KScore | 0.3663 | 0.3493 |
GenEvolve的应用场景
- 知识密集型图像生成：需要外部世界知识的场景，如真实地标建筑（埃菲尔铁塔、故宫）、公众人物肖像、特定商品结构、历史事件还原。Agent 通过搜索工具补充事实，避免生成器”幻觉”错误细节。
- 质量约束型图像生成：对文字渲染、精确计数、空间布局、属性绑定、解剖结构准确性、材质真实感、美学风格有硬性要求的商业设计、广告海报、教育插图。
- 参考一致性图像生成：要求输出与参考图保持身份一致（角色设计）、材质特殊（金属/丝绸质感）或风格统一（特定画家风格）的系列化内容生产、IP 衍生创作。
- 模糊需求澄清与程序化：将用户模糊描述转化为可执行的生成程序，明确搜索什么、参考什么、约束什么，降低 prompt engineering 门槛。
