# PhotoDoodle – 字节联合新加坡国立大学等推出的艺术化图像编辑框架

- Link: https://paooo.com/aigc-news/21531/
- Published: 2026-06-08T20:40:13+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 两阶段训练先学通用编辑能力，再用少量艺术家样本微调，快速复现个性化风格。
 * 位置编码克隆与无噪声条件范式，重点解决装饰元素错位和背景被破坏的问题。
 * 仅需30-50对样本即可适配风格，并提供6种风格、300+样本数据集作研究基准。

## PhotoDoodle是什么

PhotoDoodle是新加坡国立大学、上海交通大学、北京邮电大学、字节跳动和Tiamat团队联合
推出的艺术化图像编辑框架，基于少量样本学习艺术家的独特风格，实现照片涂鸦（photo 
doodling）。PhotoDoodle用两阶段训练策略：基于大规模数据预训练通用图像编辑模型OmniEditor，
用少量艺术家策划的前后图像对进行微调，捕捉特定的编辑风格。PhotoDoodle引入位置编码
重用机制和无噪声条件范式，确保生成结果与背景的无缝融合和一致性。PhotoDoodle推出包含
6种风格和300多个样本的高质量数据集，为相关研究提供基准。

阅读目录

 * [PhotoDoodle是什么](https://paooo.com/aigc-news/21531/#photodoodle%e6%98%af%e4%bb%80%e4%b9%88)
 * [PhotoDoodle的主要功能](https://paooo.com/aigc-news/21531/#photodoodle%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [PhotoDoodle的技术原理](https://paooo.com/aigc-news/21531/#photodoodle%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [PhotoDoodle的项目地址](https://paooo.com/aigc-news/21531/#photodoodle%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [PhotoDoodle的应用场景](https://paooo.com/aigc-news/21531/#photodoodle%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![PhotoDoodle](https://paooo.com/wp-content/uploads/2026/06/PhotoDoodle-website-
1.avif)

## PhotoDoodle的主要功能

 * **艺术风格学习与复现**：从少量艺术家提供的样本中学习独特的编辑风格，应用于新的
   图像编辑任务中。
 * **装饰性元素生成**：支持在照片上添加装饰性元素（如手绘线条、色彩块、装饰图案等），
   确保这些元素与背景无缝融合。
 * **保持背景一致性**：在编辑过程中，严格保留原始照片的背景内容，避免背景失真或风格
   被破坏。
 * **指令驱动的编辑**：基于自然语言指令控制图像编辑内容，实现精准的局部修改和风格
   化处理。
 * **高效风格定制**：借助低秩适应（LoRA）技术，仅需30-50对样本即可快速适配不同艺术
   家的风格，降低训练成本。

## PhotoDoodle的技术原理

 * **OmniEditor预训练**：用大规模图像编辑数据集对预训练的DiT模型进行微调，将其转化
   为通用图像编辑器（OmniEditor）。引入位置编码克隆机制（Positional Encoding Cloning）
   和无噪声条件范式（Noise-free Conditioning），确保编辑过程中的空间一致性和背景
   保留。基于多模态注意力机制（MMA）结合文本指令和图像条件，实现精准的图像编辑。
 * **EditLoRA微调**：在预训练的OmniEditor基础上，用少量艺术家提供的前后图像对进行
   低秩适应（LoRA）微调。基于低秩分解矩阵适应性调整模型权重，捕捉特定艺术家的编辑
   风格，同时保留预训练模型的通用能力。
 * **位置编码克隆机制**：在源图像和目标图像之间共享相同的位置编码，确保生成结果的
   空间一致性，避免背景与装饰元素之间的错位。
 * **无噪声条件范式**：在生成过程中保留源图像的无噪声条件，防止背景内容在迭代去噪
   过程中被破坏，保持原始图像的细节和纹理。
 * **条件流匹配损失函数**：优化条件流匹配损失函数，指导模型学习从噪声到目标图像的
   生成路径，进一步提升编辑效果。

## PhotoDoodle的项目地址

 * **GitHub仓库**：[https://github.com/showlab/PhotoDoodle](https://github.com/showlab/PhotoDoodle)
 * **HuggingFace模型库**：[https://huggingface.co/nicolaus-huang/PhotoDoodle](https://huggingface.co/nicolaus-huang/PhotoDoodle)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.14397](https://arxiv.org/pdf/2502.14397)

## PhotoDoodle的应用场景

 * **数字艺术创作**：为照片添加艺术风格，快速生成创意作品。
 * **商业设计**：快速生成符合品牌风格的设计图像，提升设计效率。
 * **社交媒体**：为个人照片添加装饰效果，增强分享内容的吸引力。
 * **艺术教育**：辅助教学，帮助学生理解和实践不同艺术风格。
 * **娱乐互动**：实时生成艺术化图像，增强互动体验。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**Tiamat ↗**

AI艺术画生成工具，由国内团队研发，创新艺术创作体验。

**Tiamat ↗**

Tiamat：国内自研的AI作画系统！内测中，面向AI 绘画生成场景提供便捷实用的在线功能支持。

❓ 常见问题解答（FAQ）

PhotoDoodle适合做什么图像编辑？

PhotoDoodle主要用于照片涂鸦式艺术化编辑，可在保留原图背景的前提下添加手绘线条、色
块、装饰图案等元素，也支持基于自然语言指令进行局部修改和风格化处理。

PhotoDoodle为什么能保持背景不失真？

它通过位置编码克隆机制和无噪声条件范式，让源图像与目标图像共享空间信息，并在去噪
过程中尽量保留原始背景细节，从而减少错位和背景破坏。

PhotoDoodle需要多少样本才能定制风格？

文中给出的结论是，借助 LoRA 微调，PhotoDoodle 仅需约30-50对前后图像样本，就能快速
适配不同艺术家的编辑风格，同时保留通用编辑能力。

🔬 语宙深潜追问 · 进阶实操拆解

如何避免风格迁移把主体改坏？

先锁定主体结构和背景约束，再只开放局部风格编辑区域；训练时加入身份保持、边缘一致性
和背景保真损失。实操上建议先做低强度风格注入，再逐步加大笔触和色彩变化。

商业设计里怎么用才稳妥？

适合做海报草图、概念提案和风格探索，不宜直接替代最终交付。上线前要建立版权审核、
风格来源记录和人工复核流程，尤其避免对在世艺术家风格的直接复刻。

🗳️ 读者观点微投票 · 您的实战立场是？

少量样本学艺术风格，真能商用吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [ICEdit – 浙江大学联合哈佛大学推出的指令式图像编辑框架](https://paooo.com/aigc-news/19978/)
 * [Stable Doodle](https://paooo.com/ai-tool/6376/)
 * [DesignEdit – 微软等开源的AI图像分层处理编辑框架](https://paooo.com/aigc-news/28008/)
 * [Diffree – OpenGVLab推出的AI贴图框架](https://paooo.com/aigc-news/27693/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21531/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
