Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: PhotoDoodle – 字节联合新加坡国立大学等推出的艺术化图像编辑框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
PhotoDoodle – 字节联合新加坡国立大学等推出的艺术化图像编辑框架
Prompt 语宙 > AIGC 资讯 > PhotoDoodle – 字节联合新加坡国立大学等推出的艺术化图像编辑框架
AIGC 资讯

PhotoDoodle – 字节联合新加坡国立大学等推出的艺术化图像编辑框架

Prompt 语宙研究院
最近更新: 2026年6月8日 下午8:40
AI绘画提示词 HuggingFace 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 两阶段训练先学通用编辑能力,再用少量艺术家样本微调,快速复现个性化风格。
  • 位置编码克隆与无噪声条件范式,重点解决装饰元素错位和背景被破坏的问题。
  • 仅需30-50对样本即可适配风格,并提供6种风格、300+样本数据集作研究基准。

PhotoDoodle是什么

PhotoDoodle是新加坡国立大学、上海交通大学、北京邮电大学、字节跳动和Tiamat团队联合推出的艺术化图像编辑框架,基于少量样本学习艺术家的独特风格,实现照片涂鸦(photo doodling)。PhotoDoodle用两阶段训练策略:基于大规模数据预训练通用图像编辑模型OmniEditor,用少量艺术家策划的前后图像对进行微调,捕捉特定的编辑风格。PhotoDoodle引入位置编码重用机制和无噪声条件范式,确保生成结果与背景的无缝融合和一致性。PhotoDoodle推出包含6种风格和300多个样本的高质量数据集,为相关研究提供基准。

阅读目录
  • PhotoDoodle是什么
  • PhotoDoodle的主要功能
  • PhotoDoodle的技术原理
  • PhotoDoodle的项目地址
  • PhotoDoodle的应用场景

PhotoDoodle

PhotoDoodle的主要功能

  • 艺术风格学习与复现:从少量艺术家提供的样本中学习独特的编辑风格,应用于新的图像编辑任务中。
  • 装饰性元素生成:支持在照片上添加装饰性元素(如手绘线条、色彩块、装饰图案等),确保这些元素与背景无缝融合。
  • 保持背景一致性:在编辑过程中,严格保留原始照片的背景内容,避免背景失真或风格被破坏。
  • 指令驱动的编辑:基于自然语言指令控制图像编辑内容,实现精准的局部修改和风格化处理。
  • 高效风格定制:借助低秩适应(LoRA)技术,仅需30-50对样本即可快速适配不同艺术家的风格,降低训练成本。

PhotoDoodle的技术原理

  • OmniEditor预训练:用大规模图像编辑数据集对预训练的DiT模型进行微调,将其转化为通用图像编辑器(OmniEditor)。引入位置编码克隆机制(Positional Encoding Cloning)和无噪声条件范式(Noise-free Conditioning),确保编辑过程中的空间一致性和背景保留。基于多模态注意力机制(MMA)结合文本指令和图像条件,实现精准的图像编辑。
  • EditLoRA微调:在预训练的OmniEditor基础上,用少量艺术家提供的前后图像对进行低秩适应(LoRA)微调。基于低秩分解矩阵适应性调整模型权重,捕捉特定艺术家的编辑风格,同时保留预训练模型的通用能力。
  • 位置编码克隆机制:在源图像和目标图像之间共享相同的位置编码,确保生成结果的空间一致性,避免背景与装饰元素之间的错位。
  • 无噪声条件范式:在生成过程中保留源图像的无噪声条件,防止背景内容在迭代去噪过程中被破坏,保持原始图像的细节和纹理。
  • 条件流匹配损失函数:优化条件流匹配损失函数,指导模型学习从噪声到目标图像的生成路径,进一步提升编辑效果。

PhotoDoodle的项目地址

  • GitHub仓库:https://github.com/showlab/PhotoDoodle
  • HuggingFace模型库:https://huggingface.co/nicolaus-huang/PhotoDoodle
  • arXiv技术论文:https://arxiv.org/pdf/2502.14397

PhotoDoodle的应用场景

  • 数字艺术创作:为照片添加艺术风格,快速生成创意作品。
  • 商业设计:快速生成符合品牌风格的设计图像,提升设计效率。
  • 社交媒体:为个人照片添加装饰效果,增强分享内容的吸引力。
  • 艺术教育:辅助教学,帮助学生理解和实践不同艺术风格。
  • 娱乐互动:实时生成艺术化图像,增强互动体验。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
Tiamat ↗
AI艺术画生成工具,由国内团队研发,创新艺术创作体验。
Tiamat ↗
Tiamat:国内自研的AI作画系统!内测中,面向AI 绘画生成场景提供便捷实用的在线功能支持。
❓ 常见问题解答(FAQ)
PhotoDoodle适合做什么图像编辑?

PhotoDoodle主要用于照片涂鸦式艺术化编辑,可在保留原图背景的前提下添加手绘线条、色块、装饰图案等元素,也支持基于自然语言指令进行局部修改和风格化处理。

PhotoDoodle为什么能保持背景不失真?

它通过位置编码克隆机制和无噪声条件范式,让源图像与目标图像共享空间信息,并在去噪过程中尽量保留原始背景细节,从而减少错位和背景破坏。

PhotoDoodle需要多少样本才能定制风格?

文中给出的结论是,借助 LoRA 微调,PhotoDoodle 仅需约30-50对前后图像样本,就能快速适配不同艺术家的编辑风格,同时保留通用编辑能力。

🔬 语宙深潜追问 · 进阶实操拆解
如何避免风格迁移把主体改坏?

先锁定主体结构和背景约束,再只开放局部风格编辑区域;训练时加入身份保持、边缘一致性和背景保真损失。实操上建议先做低强度风格注入,再逐步加大笔触和色彩变化。

商业设计里怎么用才稳妥?

适合做海报草图、概念提案和风格探索,不宜直接替代最终交付。上线前要建立版权审核、风格来源记录和人工复核流程,尤其避免对在世艺术家风格的直接复刻。

🗳️ 读者观点微投票 · 您的实战立场是?
少量样本学艺术风格,真能商用吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • ICEdit – 浙江大学联合哈佛大学推出的指令式图像编辑框架
  • Stable Doodle
  • DesignEdit – 微软等开源的AI图像分层处理编辑框架
  • Diffree – OpenGVLab推出的AI贴图框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
PixVerse 完成 4.39 亿美元 C 轮扩展融资 估值飙升至 20 亿美元
华尔街规则为马斯克破例,SpaceX 史诗级 IPO 助力其冲刺首位万亿富豪
[AI生图咒语] 午后慵懒小睡花卉睡裙写实肖像
[AI生图咒语] 复古赛车海报设计提示词
[AI生图咒语] 例414 – 室内晨间写实摄影
TAGGED:AI绘画提示词HuggingFace大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 星火纪要 – 科大讯飞推出的会议交流总结和分析平台 星火纪要 – 科大讯飞推出的会议交流总结和分析平台
下一篇 AReaL-boba – 蚂蚁联合清华开源的强化学习训练框架 AReaL-boba – 蚂蚁联合清华开源的强化学习训练框架
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

阿里通义EAPO框架:30B小模型反超120B闭源大模型的强化学习突破,ACL 2026论文详解
AI 工具AIGC 资讯

阿里通义EAPO框架:30B小模型反超120B闭源大模型的强化学习突破,ACL 2026论文详解

Prompt 语宙研究院
EAPO 大模型 强化学习 长文本推理 阿里通义
Qwen-Audio-3.0-ASR-Flash – 阿里千问推出的语音识别大模型
AIGC 资讯

Qwen-Audio-3.0-ASR-Flash – 阿里千问推出的语音识别大模型

Prompt 语宙研究院
AI办公效率 AI音频与语音 通义千问 阿里云百炼
阿里通义开源Wan2.2-Animate:AI动作生成模型实现视频角色替换与表情驱动
AI 工具AIGC 资讯

阿里通义开源Wan2.2-Animate:AI动作生成模型实现视频角色替换与表情驱动

Prompt 语宙研究院
AIGC Wan模型 动作生成模型 角色动画 阿里通义
Ideogram 4 – Ideogram 开源的文本到图像生成模型
AIGC 资讯

Ideogram 4 – Ideogram 开源的文本到图像生成模型

Prompt 语宙研究院
AI绘画提示词 Gemini HuggingFace 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.