# AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架

- Link: https://paooo.com/aigc-news/22765/
- Published: 2026-06-09T06:48:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 采用“编码-路由”框架，将主体细节编码与位置路由分离，提升个性化生成稳定性。
 * ReferenceNet负责高分辨率细节，CLIP负责语义对齐，兼顾画面还原度与文本一致性。
 * 实例感知路由可减少多主体混淆，适合角色概念图、漫画创作和定制化广告。

## AnyStory是什么

AnyStory是阿里巴巴通义实验室研发的创新文本到图像生成框架，实现单个和多个主体的高保
真个性化[图像生成](https://ai-bot.cn/best-ai-image-generators/)。通过“编码-路由”
的方法来建模主体个性化问题。在编码阶段，AnyStory结合强大的ReferenceNet和CLIP视觉
编码器，对主体特征进行高保真度的编码，捕捉丰富的细节和语义信息。ReferenceNet支持
高分辨率输入，与去噪U-Net的特征空间对齐，为生成图像提供坚实的细节基础；CLIP视觉编码
器则负责提取主体的粗略概念，确保生成的图像与文本描述紧密对齐。在路由阶段，解耦的
实例感知主体路由器能准确感知并预测主体在潜在空间中的位置，引导主体条件的注入，有效
避免了多主体生成中常见的主体混合问题，使每个主体能在生成的图像中保持其独特的特征
和细节。

阅读目录

 * [AnyStory是什么](https://paooo.com/aigc-news/22765/#anystory%e6%98%af%e4%bb%80%e4%b9%88)
 * [AnyStory的主要功能](https://paooo.com/aigc-news/22765/#anystory%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [AnyStory的技术原理](https://paooo.com/aigc-news/22765/#anystory%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [AnyStory的项目地址](https://paooo.com/aigc-news/22765/#anystory%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [AnyStory的应用场景](https://paooo.com/aigc-news/22765/#anystory%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架 - 配图](https://paooo.
com/wp-content/uploads/2026/06/AnyStory-website-1.avif)

## AnyStory的主要功能

 * **高保真度单主体个性化**：AnyStory能生成具有特定主体的高保真度图像，捕捉到丰富
   的细节和语义信息，使生成的图像与文本描述紧密对齐。
 * **多主体个性化**：在涉及多个主体的场景中，AnyStory能准确地感知和预测每个主体在
   潜在空间中的位置，引导主体条件的注入，避免了多主体生成中常见的主体混合问题，使
   每个主体能在生成的图像中保持其独特的特征和细节。
 * **文本描述对齐**：AnyStory确保生成的图像与文本描述紧密对齐，通过CLIP视觉编码器
   提取主体的粗略概念，确保生成的图像与文本描述的一致性。
 * **细节保留**：基于ReferenceNet，AnyStory能保留主体的精细细节，提供高质量的图像
   生成支持。
 * **灵活的主体条件注入**：通过解耦的实例感知主体路由器，AnyStory能灵活地将主体条件
   注入到潜在空间中，实现对生成图像的精确控制。

## AnyStory的技术原理

 * **编码阶段**
    - **ReferenceNet**：是通用且强大的图像编码器，支持高分辨率输入，能提取主体的
      精细细节。ReferenceNet的特征空间与去噪U-Net对齐，便于U-Net直接提取不同深度
      和尺度的主体特征。ReferenceNet通过变分自动编码器（VAE）对参考图像进行编码，
      然后通过一个与U-Net相同架构的网络提取其特征。
    - **CLIP视觉编码器**：CLIP视觉编码器负责提取主体的粗略概念，确保生成的图像与
      文本描述紧密对齐。CLIP的特征主要是语义的，虽然分辨率较低，能提供与文本嵌入
      良好对齐的特征，触发主体生成。
 * **路由阶段**
    - **解耦路由机制**：通过独立分支预测主体在潜在空间中的位置。给定一系列分割后
      的主体图像，分别通过CLIP图像编码器和一个额外的单查询QFormer获取路由特征。这些
      特征通过图像分割解码器建模路由器，生成粗略的路由图，再通过掩码交叉注意力模
      块细化路由图，最终用于指导主体信息的注入。
    - **实例感知路由正则化损失**：为了促进路由器学习并区分不同主体实例，引入了实例
      感知路由正则化损失。这一损失函数确保路由器能准确地将主体特征路由到相应区域，
      减少对无关区域的影响。
    - **路由引导的主体信息注入**：对于CLIP编码的主体表示，使用解耦交叉注意力将它们
      整合到U-Net中，增加路由引导的定位约束。对于ReferenceNet编码的主体特征，采用
      原始的参考注意力，增加由路由图引起的注意力掩码，确保主体特征准确注入到目标
      区域。
 * **训练阶段**
    - **主体编码器训练**：训练主体QFormer、ReferenceNet以及注意力块中相应的键、值
      矩阵。使用预训练的U-Net权重初始化ReferenceNet，收集大量保持主体身份一致但在
      背景、姿势和视角上显示变化的配对数据进行训练，防止主体过拟合。
    - **路由器训练**：固定主体编码器，训练路由器。主要训练数据包括额外的未配对多
      人图像，路由器能够有效地泛化到一般主体，归因于CLIP模型的强大泛化能力和高度
      压缩的单令牌路由特征。

## AnyStory的项目地址

 * **项目官网**：[https://aigcdesigngroup.github.io/AnyStory](https://aigcdesigngroup.github.io/AnyStory/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.09503v1](https://arxiv.org/pdf/2501.09503v1)

## AnyStory的应用场景

 * **创意绘画**：艺术家可以用AnyStory将脑海中的创意转化为视觉作品。为特定的客户定制
   个性化的肖像，AnyStory能提供高质量的图像生成支持，缩短创作周期。
 * **概念设计**：在设计初期，AnyStory可以帮助艺术家和设计师快速生成概念图，为后续
   的详细设计提供参考。
 * **角色概念图**：游戏设计师可以用AnyStory根据游戏背景故事和角色设定，快速生成多个
   角色的概念图。
 * **漫画创作**：为漫画创作者提供快速生成角色和场景的工具，加速创作过程，提高作品
   的视觉效果。
 * **个性化广告**：根据不同的目标受众和营销主题，快速生成包含特定产品或品牌元素的
   图像，提高广告的吸引力和效果。

❓ 常见问题解答（FAQ）

AnyStory适合做多主体个性化生成吗？

适合。AnyStory专门针对单主体和多主体个性化文生图设计，通过实例感知路由预测每个主体
在潜在空间中的位置，并用路由引导注入主体条件，从而减少多主体生成中常见的主体混合
问题。

AnyStory为什么能保留主体细节？

因为它在编码阶段使用ReferenceNet对参考图像进行高保真编码，并与去噪U-Net特征空间对
齐，能提取高分辨率细节；同时结合CLIP视觉编码器补充语义信息，使生成结果既细致又贴
合文本。

AnyStory可以用于哪些实际场景？

可用于创意绘画、概念设计、角色概念图、漫画创作和个性化广告等场景。它能帮助用户快速
生成带有特定主体特征的图像，缩短前期构思和视觉出图周期。

🔬 语宙深潜追问 · 进阶实操拆解

多主体场景怎么减少身份混淆？

要把每个主体的参考图、文本描述和位置约束分开编码，再在生成时做实例级路由。实践中
最好限制每个主体的特征词重叠，并用局部重绘修正手部、脸部和服饰冲突。

高保真个性化生成如何兼顾文本对齐？

不要只盯着参考图保真，还要给文本提示设置优先级，比如先锁主体，再锁动作和场景。若
文本冲突过多，模型会在细节上妥协，建议通过分步提示和多轮筛选来提升稳定性。

🗳️ 读者观点微投票 · 您的实战立场是？

多主体文生图最难的是对齐还是不串人？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [ACE++ – 阿里通义推出的升级版图像生成与编辑模型](https://paooo.com/aigc-news/22280/)
 * [StoryWeaver – 厦大和网易伏羲联合推出的统一故事可视化 AI 模型](https://paooo.com/aigc-news/23370/)
 * [MM-StoryAgent – 上海交大联合阿里开源的多智能体故事绘本视频生成框架](https://paooo.com/aigc-news/21062/)
 * [AnyCharV – 港中文联合清华等机构推出的角色可控视频生成框架](https://paooo.com/aigc-news/21985/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22765/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
