---
title: "In-Context LoRA – 阿里通义推出的基于DiTs的图像生成框架"
url: "https://paooo.com/aigc-news/25441/"
author: "Prompt 语宙研究院"
published_at: "2026-07-14T01:48:29+08:00"
updated_at: "2026-07-14T01:48:29+08:00"
categories: "AIGC 资讯"
tags: "AI绘画提示词, stable diffusion, 大模型微调, 通义千问"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# In-Context LoRA – 阿里通义推出的基于DiTs的图像生成框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25441/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-14

## AI 30 秒核心看点 (TL;DR)

- 基于 DiTs 的 In-Context LoRA，用小样本 LoRA 微调激活上下文生成能力，降低对大规模标注数据的依赖。
- 无需修改原始模型架构，就能适配故事板、字体设计、家居装饰等多种图像生成任务。
- 支持条件图像生成与图像集生成，强调连贯一致、符合提示词的多图输出效果。

## In-Context LoRA是什么

In-Context LoRA是阿里巴巴通义实验室推出的基于扩散变换器（DiTs）的图像生成框架，用模型的内在上下文学习能力，最小化调整激活模型的上下文生成能力。这种方法无需修改原始模型架构，只需对训练数据进行微调，就能适应多样的图像生成任务，有效简化训练过程并减少对大量标注数据的依赖，且保持高生成质量。In-Context LoRA在多个实际应用场景中表现出色，能生成连贯一致且高度符合提示的图像集合，支持条件图像生成。

## In-Context LoRA的主要功能

- **多任务图像生成**：适应多种图像生成任务，如故事板生成、字体设计、家居装饰等，无需针对每个任务训练特定模型。

- **上下文学习能力**：用现有文本到图像模型的内在上下文学习能力，基于小数据集的LoRA调整、激活和增强能力。

- **任务无关性**：在数据调整上是任务特定的，但在架构和流程上保持任务不可知，让框架能够适应广泛的任务。

- **图像集生成**：能同时生成具有定制内在关系的图像集，图像集是有条件的或基于文本提示的。

- **条件图像生成**：支持基于现有图像集的条件生成，用SDEdit技术进行训练免费的图像补全。

## In-Context LoRA的技术原理

- **扩散变换器（DiTs）**：基于扩散变换器（DiTs），用于图像生成的模型，模拟扩散过程逐步构建图像。

- **上下文生成能力**：该技术假设文本到图像的DiTs天生就具备上下文生成能力，理解和生成具有复杂内在关系的图像集。

- **图像连接**：与其连接注意力标记（tokens）不同，In-Context LoRA将一组图像直接连接成一张大图像进行训练，类似于在DiTs中连接标记。

- **联合描述**：合并每个图像的提示（prompts）形成一个长的提示，模型能同时处理和生成多个图像。

- **小数据集的LoRA调整**：用小数据集（20到100个样本）进行Low-Rank Adaptation（LoRA）调整，激活和增强模型的上下文能力。

- **任务特定的调整**：In-Context LoRA的架构和流程保持任务不可知，适应不同的任务不需要修改原始模型架构。

## In-Context LoRA的项目地址

- **项目官网**：[ali-vilab.github.io/In-Context-LoRA-Page](https://ali-vilab.github.io/In-Context-LoRA-Page/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/ali-vilab/In-Context-LoRA](https://github.com/ali-vilab/In-Context-LoRA)

- **arXiv技术论文**：[https://arxiv.org/pdf/2410.23775](https://arxiv.org/pdf/2410.23775)

## In-Context LoRA的应用场景

- **故事板生成**：用在电影、广告或动画制作中，快速生成一系列场景图像，展示故事情节的发展。

- **字体设计**：设计和生成具有特定风格和主题的字体，适于品牌标识、海报、邀请函等。

- **家居装饰**：生成家居装饰风格的图像，帮助设计师和客户预览装饰效果，如墙面颜色、家具布局等。

- **肖像插画**：将个人照片转换成艺术风格的插画，用于个人肖像、社交媒体头像或艺术作品。

- **人像摄影**：生成具有特定风格和背景的人像照片，用在时尚杂志、广告或个人艺术照。

## 常见问题解答 (FAQ)

### In-Context LoRA 适合哪些图像生成任务？
它适合多任务图像生成场景，包括故事板生成、字体设计、家居装饰、肖像插画和人像摄影等。框架强调任务无关的架构设计，只需针对数据做 LoRA 微调即可适配不同需求。

### In-Context LoRA 和普通 LoRA 有什么区别？
文章中的 In-Context LoRA 不只是做参数高效微调，还利用文本到图像模型的上下文生成能力，把多张图像和提示联合起来训练，从而生成具有内在关系的图像集，适合条件生成任务。

### In-Context LoRA 需要多少训练数据？
文中提到它可用小数据集进行 LoRA 调整，样本量大约在 20 到 100 个之间。相比传统大规模训练，这种方式更省数据，也更容易快速适配新任务。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)