# 小米开源Lego-Edit：基于MLLM的下一代图像编辑框架，三阶段强化学习实现SOTA性能 - Link: https://paooo.com/aigc-news/13619/ - Published: 2026-06-21T05:12:22+08:00 - Author: Prompt 语宙研究院 > **💡 站外导读：**随着AIGC与多模态技术的深度融合，图像编辑领域正从传统的工具依赖 > 型转向指令驱动型。用户不再满足于预设功能的简单调整，而是期望通过自然语言指令完成 > 复杂、精准的创意操作。这一趋势对模型的泛化能力、工具调用灵活性与零样本适应能力 > 提出了极高要求。然而，现有方案常面临指令理解局限、新工具集成需重训、编辑区域控制 > 粗糙等痛点。小米开源的Lego-Edit框架，正是针对这些行业核心挑战而生。 ## Lego-Edit是什么 Lego-Edit 是小米开源的基于指令的图像编辑框架，通过多模态大语言模型（MLLM）的泛化 能力，实现对图像的灵活编辑。采用模型级工具包，包含多种高效训练的模型，可执行多种 图像操作。Lego-Edit 通过三阶段渐进式强化学习训练策略，先进行监督微调（SFT），再在 特定任务上强化学习（RL），最后利用大量未标注指令进行额外 RL 训练，增强对灵活指令 的处理能力。优势在于强大的泛化能力，能在多个基准测试中达到 SOTA 性能，支持局部、 全局及多步骤编辑，接受掩码输入以精确控制编辑区域。Lego-Edit 无需重新训练即可整合 新工具，方便扩展功能。 阅读目录 * [Lego-Edit是什么](https://paooo.com/aigc-news/13619/#legoedit%e6%98%af%e4%bb%80%e4%b9%88) * [Lego-Edit的主要功能](https://paooo.com/aigc-news/13619/#legoedit%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [Lego-Edit的技术原理](https://paooo.com/aigc-news/13619/#legoedit%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [Lego-Edit的项目地址](https://paooo.com/aigc-news/13619/#legoedit%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [Lego-Edit的应用场景](https://paooo.com/aigc-news/13619/#legoedit%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/13619/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight) ![Lego-Edit](https://paooo.com/wp-content/uploads/2026/05/Lego-Edit-website-1.avif) ## Lego-Edit的主要功能 * **强大的图像编辑能力**：Lego-Edit 能根据用户指令完成多种复杂的图像编辑任务，包括 但不限于局部编辑、全局编辑和多步骤编辑，满足不同场景下的图像处理需求。 * **灵活的指令理解与执行**：借助多模态大语言模型（MLLM）的泛化能力，Lego-Edit 可以 理解并执行开放域的指令，即使面对未见过的指令，能通过其强大的推理能力进行处理。 * **模型级工具包的高效利用**：框架包含多种在有限数据上高效训练的模型级工具，这些 工具具备多种图像操作功能，MLLM 可以通过调用这些工具来完成细粒度的编辑操作，实现 高效且精准的图像修改。 * **无需重新训练即可整合新工具**：Lego-Edit 支持在无需额外微调的情况下，整合新引入 的编辑工具，使得其功能可以轻松扩展，适应不断变化的图像编辑需求。 * **掩码输入支持精确编辑**：接受掩码输入是 Lego-Edit 的一大亮点，用户可以通过掩 码精确指定需要编辑的图像区域，实现更加精准的局部编辑效果。 * **开源与易用性**：Lego-Edit 的代码在 Apache 2.0 许可下开源，模型在 CC BY-NC 4.0 许可下开源，用户可以方便地获取和使用。通过简单的环境搭建和预训练模型下载，可使用 Gradio WebUI 开始图像编辑，降低了使用门槛。 ## Lego-Edit的技术原理 * **模型级工具包**：Lego-Edit 集成多种高效训练的模型，每个模型负责特定的图像操作 功能，如颜色调整、对象替换等，形成一个功能丰富的工具包，为复杂的图像编辑任务提供 基础支持。 * **多模态大语言模型（MLLM）驱动**：利用 MLLM 的强大泛化能力和推理能力，理解用户 指令并协调模型级工具包中的不同模型，完成从指令解析到具体操作的转换，实现灵活的 图像编辑。 * **三阶段渐进式强化学习训练策略**：首先进行监督微调（SFT），让模型学习基本的图像 编辑知识；接着通过强化学习（RL）在特定编辑任务上训练，建立推理能力和工具使用知识； 最后利用大量未标注指令进行额外的 RL 训练，由大规模批评模型提供反馈，进一步增强 对灵活指令的处理能力。 * **掩码输入机制**：支持用户通过掩码指定需要编辑的图像区域，使编辑操作更加精确， 能针对图像的特定部分进行修改，不影响其他区域，提高编辑的灵活性和准确性。 * **无需重新训练的工具整合**：Lego-Edit 能在不进行额外微调的情况下，直接整合新引入 的编辑工具，快速适应新的编辑需求，扩展功能范围，保持系统的高效性和可扩展性。 ## Lego-Edit的项目地址 * **项目官网**：https://xiaomi-research.github.io/lego-edit/ * **Github仓库**：https://github.com/xiaomi-research/lego-edit * **arXiv技术****论文**：https://arxiv.org/pdf/2509.12883 ## Lego-Edit的应用场景 * **创意设计领域**：设计师可以用 Lego-Edit 快速实现创意构思，通过简单指令完成复杂 的图像合成、风格转换等操作，提高设计效率，激发更多创意灵感。 * **内容创作与编辑**：在视频制作、广告设计、社交媒体内容创作等场景中，Lego-Edit 能帮助创作者快速修改图像素材，如调整颜色、替换背景、添加特效等，满足多样化的内容 创作需求。 * **电商与产品展示**：电商商家可以使用 Lego-Edit 对产品图片进行优化，如去除瑕疵、 调整光线、添加虚拟场景等，提升产品展示效果，增强用户购买意愿。 * **教育与培训**：在教育领域，Lego-Edit 可以作为教学工具，帮助学生学习图像编辑技巧， 培养创造力和审美能力。同时，教师也可以利用它快速制作教学课件中的图像素材。 * **个人照片美化**：普通用户可以使用 Lego-Edit 对个人照片进行美化，如去除背景、 调整肤色、添加装饰元素等，轻松制作出满意的照片，用于社交媒体分享或个人收藏。 * **虚拟现实与游戏开发**：在虚拟现实和游戏开发中，Lego-Edit 可用于快速生成和修改 游戏中的图像资源，如角色外观、场景元素等，提高开发效率，丰富游戏视觉效果。 #### 📝 站长洞察 (Editor’s Insight) Lego-Edit的发布，标志着图像编辑正从“功能堆砌”迈向“智能编排”新阶段。其核心突破在于 将多模态大语言模型（MLLM）的推理能力与模块化工具包结合，通过三阶段渐进强化学习， 让模型不仅学会使用工具，更学会在复杂指令下创造性组合工具。这本质上是在构建一个“图像 编辑领域的GPT”，让AI成为指令的解读者与执行者。掩码输入的精巧设计，则解决了局部编辑 精度与全局一致性的长期矛盾。更重要的是，其“无需重训整合新工具”的特性，为开源生态 的扩展性树立了新范式。从行业视角看，这预示着未来专业图像工具可能被“指令+工具集”的 AI原生范式逐步替代。对于开发者与创作者而言，现在正是布局多模态指令工程、探索AI增强 工作流的最佳时机。 [🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（ paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示 词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发 者与创作者提供一手、可复现的深度技术洞察。 [📄 Markdown 纯净版](https://paooo.com/aigc-news/13619/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)