# InstructMove – 东京大学联合 Adobe 推出基于指令的图像编辑模型

- Link: https://paooo.com/aigc-news/23265/
- Published: 2026-06-09T14:37:01+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于真实视频帧学习编辑指令，专攻姿势、表情、视角等非刚性图像编辑。
 * 用多模态[大模型](https://paooo.com/ai-study/)自动生成帧对差异指令，提升训练数据
   质量与编辑一致性。
 * 可结合掩码和ControlNet做局部精修，适合影视、广告与日常修图。

## InstructMove是什么

InstructMove是东京大学和Adobe公司联合推出的基于指令的图像编辑模型，通过观察视频中的
帧对变化学习如何根据指令进行图像操作。模型基于多模态大型语言模型（MLLMs）生成描述
帧对之间变化的编辑指令，训练出能在保持内容一致性的同时，执行复杂非刚性编辑任务的
能力，如调整主体姿势、改变表情和视角等。InstructMove用真实视频帧作为数据源，确保
编辑过程中内容的自然性和真实性，克服合成数据集在复杂编辑任务上的局限性。InstructMove
支持基于掩码等控制机制进行精确的局部编辑，进一步增强在实际应用中的灵活性和实用性。

阅读目录

 * [InstructMove是什么](https://paooo.com/aigc-news/23265/#instructmove%e6%98%af%e4%bb%80%e4%b9%88)
 * [InstructMove的主要功能](https://paooo.com/aigc-news/23265/#instructmove%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [InstructMove的技术原理](https://paooo.com/aigc-news/23265/#instructmove%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [InstructMove的项目地址](https://paooo.com/aigc-news/23265/#instructmove%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [InstructMove的应用场景](https://paooo.com/aigc-news/23265/#instructmove%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![InstructMove](https://paooo.com/wp-content/uploads/2026/06/InstructMove-website-
1.avif)

## InstructMove的主要功能

 * **非刚性编辑**：能调整图像中主体的姿势、表情等非刚性特征，符合给定的编辑指令。
 * **视角调整**：根据指令改变图像的拍摄视角，如将相机视角向左或向右移动等，改变图像
   的构图和视觉效果。
 * **元素重新排列**：对图像中的元素进行重新排列或移动，如将玩具的腿放在一起、让鸟
   的尾巴可见等，满足特定的编辑需求。
 * **精确局部编辑**：与掩码等控制机制的结合，支持对图像的特定区域进行精确的局部编辑，
   实现更细致的修改效果。

## InstructMove的技术原理

 * **数据集构建**
    - **视频帧采样**：从互联网视频中采样帧对，确保帧对之间存在有意义的变换，如主体
      姿势变化、元素移动或相机视角调整等，获取到大量自然且真实的图像变换样本。
    - **多模态语言模型生成指令**：用多模态大型语言模型（MLLMs），如GPT-4o或Pixtral-
      12B，分析采样得到的帧对之间的差异，生成准确的编辑指令。
 * **模型架构与训练**
    - **预训练模型微调**：在构建的数据集上微调预训练的文本到图像（T2I）模型，如[Stable Diffusion](https://paooo.com/tag/stable-diffusion/)。
    - **空间条件策略**：引入空间条件策略，将参考图像与噪声输入沿空间维度进行拼接，
      而不是传统的通道拼接。
    - **去噪网络训练**：将拼接后的输入送入去噪U-Net网络，预测噪声图。给予计算预测
      噪声图与原始噪声图之间的差异，优化模型参数，准确地根据编辑指令对目标图像进行
      去噪和重建，实现图像编辑。
 * **控制机制集成**
    - **掩码引导**：支持与掩码等控制机制的集成，实现精确的局部编辑。在推理阶段，
      用掩码控制编辑区域，将更新后的潜在表示与参考潜在表示进行融合，对图像的特定
      部分进行修改。
    - **其他空间控制**：与ControlNet等可控扩散模型集成，接受用户提供的额外视觉线索，
      如草图或骨架关键点等，实现更复杂和精确的图像编辑操作。

## InstructMove的项目地址

 * **项目官网**：[ljzycmd.github.io/projects/InstructMove](https://ljzycmd.github.io/projects/InstructMove/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.12087v1](https://arxiv.org/pdf/2412.12087v1)

## InstructMove的应用场景

 * **影视后期制作**：特效师调整科幻电影中外星生物角色的表情，让其更符合剧情要求的
   愤怒情绪。
 * **广告创意设计**：设计师用为汽车广告调整赛车视角和背景元素，突出新车型的速度与
   激情特点，吸引消费者注意。
 * **室内设计**：室内设计师调整卧室床头柜位置和窗帘样式，满足客户对美观和实用性的
   需求，营造温馨舒适的睡眠环境。
 * **艺术教育**：老师在绘画课上调整人物动作，帮助学生理解动作与情感的关系，加深对
   艺术创作的理解。
 * **个人照片编辑**：个人用户调整聚会照片中的表情，使其更自然轻松，分享到社交平台，
   获得朋友点赞好评。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Adobe ↗**

Adobe提供多领域软件，满足创意与办公需求。

❓ 常见问题解答（FAQ）

InstructMove适合做什么图像编辑？

它主要面向指令式图像编辑，擅长非刚性修改，例如调整人物姿势、表情、拍摄视角，以及
元素重新排列。若结合掩码或其他空间控制，还能对局部区域做更精确的编辑。

InstructMove和普通图像编辑模型有什么区别？

它的核心区别在于训练数据来自真实视频帧对，而不是大量合成样本，因此更容易学到自然、
真实的变化规律。模型还能根据指令完成复杂非刚性编辑，并保持内容一致性。

InstructMove能和哪些控制方式一起用？

文中提到它支持掩码引导，也可与ControlNet等可控扩散模型集成，接收草图、骨架关键点
等额外视觉线索，从而实现更细致、更可控的图像编辑。

🔬 语宙深潜追问 · 进阶实操拆解

非刚性编辑为何比换背景更难？

因为姿势、表情和视角会同时改变局部纹理与全局结构，模型既要保留身份，又要重建运动
后的合理外观。最有效的方法是用真实视频帧学习时序变化，而不是只靠静态合成对。

局部掩码控制怎么用才稳？

掩码要尽量精确到受改区域，并在训练时加入边界一致性约束，避免编辑外溢。实操中建议
先做粗定位再逐步细化，否则容易出现脸部被误改、边缘穿帮或整体风格漂移。

🗳️ 读者观点微投票 · 您的实战立场是？

指令式图像编辑该押真实还是可控？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧩 所属权威专题：ComfyUI 与 SD 节点控图 →](https://paooo.com/topics/comfyui-stable-diffusion/)

 * [ObjectMover – 港大联合 Adobe 推出的新型图像编辑模型](https://paooo.com/aigc-news/20698/)
 * [SuperEdit – 字节跳动等机构推出的图像编辑方法](https://paooo.com/aigc-news/19912/)
 * [ICEdit – 浙江大学联合哈佛大学推出的指令式图像编辑框架](https://paooo.com/aigc-news/19978/)
 * [StableV2V – 中国科技大学开源的视频编辑项目](https://paooo.com/aigc-news/25465/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/23265/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)