Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架
Prompt 语宙 > AIGC 资讯 > AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架
AIGC 资讯

AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架

Prompt 语宙研究院
最近更新: 2026年6月9日 上午6:48
AI绘画提示词 大模型微调 开源大模型 通义千问
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 采用“编码-路由”框架,将主体细节编码与位置路由分离,提升个性化生成稳定性。
  • ReferenceNet负责高分辨率细节,CLIP负责语义对齐,兼顾画面还原度与文本一致性。
  • 实例感知路由可减少多主体混淆,适合角色概念图、漫画创作和定制化广告。

AnyStory是什么

AnyStory是阿里巴巴通义实验室研发的创新文本到图像生成框架,实现单个和多个主体的高保真个性化图像生成。通过“编码-路由”的方法来建模主体个性化问题。在编码阶段,AnyStory结合强大的ReferenceNet和CLIP视觉编码器,对主体特征进行高保真度的编码,捕捉丰富的细节和语义信息。ReferenceNet支持高分辨率输入,与去噪U-Net的特征空间对齐,为生成图像提供坚实的细节基础;CLIP视觉编码器则负责提取主体的粗略概念,确保生成的图像与文本描述紧密对齐。在路由阶段,解耦的实例感知主体路由器能准确感知并预测主体在潜在空间中的位置,引导主体条件的注入,有效避免了多主体生成中常见的主体混合问题,使每个主体能在生成的图像中保持其独特的特征和细节。

阅读目录
  • AnyStory是什么
  • AnyStory的主要功能
  • AnyStory的技术原理
  • AnyStory的项目地址
  • AnyStory的应用场景

AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架 - 配图

AnyStory的主要功能

  • 高保真度单主体个性化:AnyStory能生成具有特定主体的高保真度图像,捕捉到丰富的细节和语义信息,使生成的图像与文本描述紧密对齐。
  • 多主体个性化:在涉及多个主体的场景中,AnyStory能准确地感知和预测每个主体在潜在空间中的位置,引导主体条件的注入,避免了多主体生成中常见的主体混合问题,使每个主体能在生成的图像中保持其独特的特征和细节。
  • 文本描述对齐:AnyStory确保生成的图像与文本描述紧密对齐,通过CLIP视觉编码器提取主体的粗略概念,确保生成的图像与文本描述的一致性。
  • 细节保留:基于ReferenceNet,AnyStory能保留主体的精细细节,提供高质量的图像生成支持。
  • 灵活的主体条件注入:通过解耦的实例感知主体路由器,AnyStory能灵活地将主体条件注入到潜在空间中,实现对生成图像的精确控制。

AnyStory的技术原理

  • 编码阶段
    • ReferenceNet:是通用且强大的图像编码器,支持高分辨率输入,能提取主体的精细细节。ReferenceNet的特征空间与去噪U-Net对齐,便于U-Net直接提取不同深度和尺度的主体特征。ReferenceNet通过变分自动编码器(VAE)对参考图像进行编码,然后通过一个与U-Net相同架构的网络提取其特征。
    • CLIP视觉编码器:CLIP视觉编码器负责提取主体的粗略概念,确保生成的图像与文本描述紧密对齐。CLIP的特征主要是语义的,虽然分辨率较低,能提供与文本嵌入良好对齐的特征,触发主体生成。
  • 路由阶段
    • 解耦路由机制:通过独立分支预测主体在潜在空间中的位置。给定一系列分割后的主体图像,分别通过CLIP图像编码器和一个额外的单查询QFormer获取路由特征。这些特征通过图像分割解码器建模路由器,生成粗略的路由图,再通过掩码交叉注意力模块细化路由图,最终用于指导主体信息的注入。
    • 实例感知路由正则化损失:为了促进路由器学习并区分不同主体实例,引入了实例感知路由正则化损失。这一损失函数确保路由器能准确地将主体特征路由到相应区域,减少对无关区域的影响。
    • 路由引导的主体信息注入:对于CLIP编码的主体表示,使用解耦交叉注意力将它们整合到U-Net中,增加路由引导的定位约束。对于ReferenceNet编码的主体特征,采用原始的参考注意力,增加由路由图引起的注意力掩码,确保主体特征准确注入到目标区域。
  • 训练阶段
    • 主体编码器训练:训练主体QFormer、ReferenceNet以及注意力块中相应的键、值矩阵。使用预训练的U-Net权重初始化ReferenceNet,收集大量保持主体身份一致但在背景、姿势和视角上显示变化的配对数据进行训练,防止主体过拟合。
    • 路由器训练:固定主体编码器,训练路由器。主要训练数据包括额外的未配对多人图像,路由器能够有效地泛化到一般主体,归因于CLIP模型的强大泛化能力和高度压缩的单令牌路由特征。

AnyStory的项目地址

  • 项目官网:https://aigcdesigngroup.github.io/AnyStory
  • arXiv技术论文:https://arxiv.org/pdf/2501.09503v1

AnyStory的应用场景

  • 创意绘画:艺术家可以用AnyStory将脑海中的创意转化为视觉作品。为特定的客户定制个性化的肖像,AnyStory能提供高质量的图像生成支持,缩短创作周期。
  • 概念设计:在设计初期,AnyStory可以帮助艺术家和设计师快速生成概念图,为后续的详细设计提供参考。
  • 角色概念图:游戏设计师可以用AnyStory根据游戏背景故事和角色设定,快速生成多个角色的概念图。
  • 漫画创作:为漫画创作者提供快速生成角色和场景的工具,加速创作过程,提高作品的视觉效果。
  • 个性化广告:根据不同的目标受众和营销主题,快速生成包含特定产品或品牌元素的图像,提高广告的吸引力和效果。
❓ 常见问题解答(FAQ)
AnyStory适合做多主体个性化生成吗?

适合。AnyStory专门针对单主体和多主体个性化文生图设计,通过实例感知路由预测每个主体在潜在空间中的位置,并用路由引导注入主体条件,从而减少多主体生成中常见的主体混合问题。

AnyStory为什么能保留主体细节?

因为它在编码阶段使用ReferenceNet对参考图像进行高保真编码,并与去噪U-Net特征空间对齐,能提取高分辨率细节;同时结合CLIP视觉编码器补充语义信息,使生成结果既细致又贴合文本。

AnyStory可以用于哪些实际场景?

可用于创意绘画、概念设计、角色概念图、漫画创作和个性化广告等场景。它能帮助用户快速生成带有特定主体特征的图像,缩短前期构思和视觉出图周期。

🔬 语宙深潜追问 · 进阶实操拆解
多主体场景怎么减少身份混淆?

要把每个主体的参考图、文本描述和位置约束分开编码,再在生成时做实例级路由。实践中最好限制每个主体的特征词重叠,并用局部重绘修正手部、脸部和服饰冲突。

高保真个性化生成如何兼顾文本对齐?

不要只盯着参考图保真,还要给文本提示设置优先级,比如先锁主体,再锁动作和场景。若文本冲突过多,模型会在细节上妥协,建议通过分步提示和多轮筛选来提升稳定性。

🗳️ 读者观点微投票 · 您的实战立场是?
多主体文生图最难的是对齐还是不串人?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • ACE++ – 阿里通义推出的升级版图像生成与编辑模型
  • StoryWeaver – 厦大和网易伏羲联合推出的统一故事可视化 AI 模型
  • MM-StoryAgent – 上海交大联合阿里开源的多智能体故事绘本视频生成框架
  • AnyCharV – 港中文联合清华等机构推出的角色可控视频生成框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
​GPT-5. 6 今日全量开放:三档定价碾压竞品,AI开发正式进入”性价比”新阶段
SurveyGO卷姬 – 清华联合面壁智能开源的AI论文写作工具
DeepSeek V4 API永久降价75%!宁德时代、京东等巨头700亿押注,AGI开源之路提速
员工用AI做了什么、花了多少一目了然!Anthropic重磅推出Claude企业智能报告:解密工作流成本穿透、仓库规则推荐与AI监工边界争议
安全警报:Claude Code 被曝存在安全后门,官方已启动紧急修复
TAGGED:AI绘画提示词大模型微调开源大模型通义千问
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Nemotron-CC – 英伟达推出的大型预训练数据集 Nemotron-CC – 英伟达推出的大型预训练数据集
下一篇 Whisper Input – 开源AI语音输入工具,支持多语言实时转录和翻译 Whisper Input – 开源AI语音输入工具,支持多语言实时转录和翻译
Ad image
Ad image

最近更新

Anthropic 纳斯达克上市后的商业化抉择:面对 8954 亿美元算力承诺,“绝不做广告”承诺与华尔街营收压力正面碰撞
超级碗刚嘲讽完OpenAI,转头面临8954亿美元算力账单!Anthropic上市后“绝不做广告”誓言与智能体商业化博弈全拆解
最新趋势
OpenAI 官方发布《Perplexity and Intelligence》专题主视觉:首席科学家 Jakub Pachocki 提议以对数困惑度作为全球前沿 AI 发展共享安全标尺
OpenAI首席科学家首次公开内部困惑度曲线!GPT-3.5至0.76跃迁揭秘:用Cross-Entropy Loss为AI设限速红线全拆解
AIGC 资讯
Atlassian AI 与产品工艺负责人 Sherif Mansour 做客 Lenny 播客,拆解全员 AI 构建者实验、初级人才赋能与产品工艺三角
取消PM头衔全员AI造产品,1个月就翻车退回!Atlassian AI掌门揭秘:初级员工多用38%AI却产Slop、工艺三角与Rovo外挂全拆解
AI 工具
GitHub Changelog 官方发布主图:GitHub Copilot CLI 1.0.113+ 公测支持 Microsoft Entra 身份登录与双轨企业推理
免GitHub账号直接终端跑AI!Copilot CLI上线Microsoft Entra登录:接入Work IQ MCP与Agent 365全链路审计拆解
AI 工具

相关推荐

NobodyWho – AI游戏引擎插件,本地运行 LLM 实现互动小说创作
AIGC 资讯

NobodyWho – AI游戏引擎插件,本地运行 LLM 实现互动小说创作

Prompt 语宙研究院
3D与空间智能 AI智能体 AI编程 开源大模型
腾讯调整AI组织架构:QClaw团队划入云产品六部,与WorkBuddy深度整合
AIGC 资讯

腾讯调整AI组织架构:QClaw团队划入云产品六部,与WorkBuddy深度整合

Prompt 语宙研究院
AI办公效率 AI智能体 OpenClaw WorkBuddy
MCPHub – 一站式MCP服务器聚合平台
AIGC 资讯

MCPHub – 一站式MCP服务器聚合平台

Prompt 语宙研究院
AI办公效率 AI智能体 开源大模型
3DTown:单张俯视图秒生3D城镇!哥伦比亚大学联手Cybever AI发布革命性场景生成框架
AI 工具AIGC 资讯

3DTown:单张俯视图秒生3D城镇!哥伦比亚大学联手Cybever AI发布革命性场景生成框架

Prompt 语宙研究院
3DTown 3D场景生成 AIGC Cybever AI 哥伦比亚大学
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 Claude Code
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.