# In-Context LoRA – 阿里通义推出的基于DiTs的图像生成框架

- Link: https://paooo.com/aigc-news/25441/
- Published: 2026-07-14T01:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于 DiTs 的 In-Context LoRA，用小样本 LoRA 微调激活上下文生成能力，降低对大规模
   标注数据的依赖。
 * 无需修改原始模型架构，就能适配故事板、字体设计、家居装饰等多种图像生成任务。
 * 支持条件图像生成与图像集生成，强调连贯一致、符合提示词的多图输出效果。

## In-Context LoRA是什么

In-Context LoRA是阿里巴巴通义实验室推出的基于扩散变换器（DiTs）的图像生成框架，用
模型的内在上下文学习能力，最小化调整激活模型的上下文生成能力。这种方法无需修改原始
模型架构，只需对训练数据进行微调，就能适应多样的图像生成任务，有效简化训练过程并
减少对大量标注数据的依赖，且保持高生成质量。In-Context LoRA在多个实际应用场景中表现
出色，能生成连贯一致且高度符合提示的图像集合，支持条件图像生成。

阅读目录

 * [In-Context LoRA是什么](https://paooo.com/aigc-news/25441/#incontext-lora%e6%98%af%e4%bb%80%e4%b9%88)
 * [In-Context LoRA的主要功能](https://paooo.com/aigc-news/25441/#incontext-lora%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [In-Context LoRA的技术原理](https://paooo.com/aigc-news/25441/#incontext-lora%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [In-Context LoRA的项目地址](https://paooo.com/aigc-news/25441/#incontext-lora%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [In-Context LoRA的应用场景](https://paooo.com/aigc-news/25441/#incontext-lora%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![In-Context LoRA](https://paooo.com/wp-content/uploads/2026/07/In-Context-LoRA-
website-1.avif)

## In-Context LoRA的主要功能

 * **多任务图像生成**：适应多种图像生成任务，如故事板生成、字体设计、家居装饰等，
   无需针对每个任务训练特定模型。
 * **上下文学习能力**：用现有文本到图像模型的内在上下文学习能力，基于小数据集的LoRA
   调整、激活和增强能力。
 * **任务无关性**：在数据调整上是任务特定的，但在架构和流程上保持任务不可知，让框架
   能够适应广泛的任务。
 * **图像集生成**：能同时生成具有定制内在关系的图像集，图像集是有条件的或基于文本
   提示的。
 * **条件图像生成**：支持基于现有图像集的条件生成，用SDEdit技术进行训练免费的图像
   补全。

## In-Context LoRA的技术原理

 * **扩散变换器（DiTs）**：基于扩散变换器（DiTs），用于图像生成的模型，模拟扩散过程
   逐步构建图像。
 * **上下文生成能力**：该技术假设文本到图像的DiTs天生就具备上下文生成能力，理解和
   生成具有复杂内在关系的图像集。
 * **图像连接**：与其连接注意力标记（tokens）不同，In-Context LoRA将一组图像直接
   连接成一张大图像进行训练，类似于在DiTs中连接标记。
 * **联合描述**：合并每个图像的提示（prompts）形成一个长的提示，模型能同时处理和
   生成多个图像。
 * **小数据集的LoRA调整**：用小数据集（20到100个样本）进行Low-Rank Adaptation（LoRA）
   调整，激活和增强模型的上下文能力。
 * **任务特定的调整**：In-Context LoRA的架构和流程保持任务不可知，适应不同的任务
   不需要修改原始模型架构。

## In-Context LoRA的项目地址

 * **项目官网**：[ali-vilab.github.io/In-Context-LoRA-Page](https://ali-vilab.github.io/In-Context-LoRA-Page/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/ali-vilab/In-Context-LoRA](https://github.com/ali-vilab/In-Context-LoRA)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.23775](https://arxiv.org/pdf/2410.23775)

## In-Context LoRA的应用场景

 * **故事板生成**：用在电影、广告或动画制作中，快速生成一系列场景图像，展示故事情节
   的发展。
 * **字体设计**：设计和生成具有特定风格和主题的字体，适于品牌标识、海报、邀请函等。
 * **家居装饰**：生成家居装饰风格的图像，帮助设计师和客户预览装饰效果，如墙面颜色、
   家具布局等。
 * **肖像插画**：将个人照片转换成艺术风格的插画，用于个人肖像、社交媒体头像或艺术
   作品。
 * **人像摄影**：生成具有特定风格和背景的人像照片，用在时尚杂志、广告或个人艺术照。

❓ 常见问题解答（FAQ）

In-Context LoRA 适合哪些图像生成任务？

它适合多任务图像生成场景，包括故事板生成、字体设计、家居装饰、肖像插画和人像摄影
等。框架强调任务无关的架构设计，只需针对数据做 LoRA 微调即可适配不同需求。

In-Context LoRA 和普通 LoRA 有什么区别？

文章中的 In-Context LoRA 不只是做参数高效微调，还利用文本到图像模型的上下文生成能力，
把多张图像和提示联合起来训练，从而生成具有内在关系的图像集，适合条件生成任务。

In-Context LoRA 需要多少训练数据？

文中提到它可用小数据集进行 LoRA 调整，样本量大约在 20 到 100 个之间。相比传统大规模
训练，这种方式更省数据，也更容易快速适配新任务。

🔬 语宙深潜追问 · 进阶实操拆解

In-Context LoRA 为什么适合多任务？

因为它不改原始架构，只通过少量 LoRA 参数把上下文能力“插”进现有 DiT，迁移成本低、
训练快、复用强。对于故事板、字体和家居这类风格或结构明确的任务，少样本适配往往比
全量重训更划算。

如何判断 LoRA 是否真的学会上下文？

不要只看单张效果，要看跨样本一致性、角色/字体保持和条件切换稳定性。建议做同提示多
参考图、跨场景泛化和失败案例对照，若模型只会记住局部纹理而不会利用上下文关系，就
说明适配还不够。

🗳️ 读者观点微投票 · 您的实战立场是？

小样本 LoRA 适合替代[大模型](https://paooo.com/ai-study/)重训吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧩 所属权威专题：ComfyUI 与 SD 节点控图 →](https://paooo.com/topics/comfyui-stable-diffusion/)

 * [EasyControl – Tiamat AI 联合上海科大等开源的图像生成控制框架](https://paooo.com/aigc-news/20452/)
 * [Piece it Together – Bria AI等机构推出的图像生成框架](https://paooo.com/aigc-news/20759/)
 * [人大高瓴与蚂蚁联合发布LLaDA-V：纯扩散架构多模态大模型刷新SOTA！](https://paooo.com/aigc-news/16995/)
 * [Mini DALL·E 3 – 北京理工联合上海 AI Lab等高校推出的交互式文生图框架](https://paooo.com/aigc-news/20552/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25441/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)