# LongAlign – 港大推出的提升文本到图像扩散模型处理长文本对齐方法

- Link: https://paooo.com/aigc-news/25277/
- Published: 2026-07-12T23:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 段级编码把长文本拆分处理，缓解CLIP等编码器的输入长度限制。
 * 偏好分解+重加权策略减少过拟合，强化图像与文本内容的对齐。
 * 20小时微调后，[Stable Diffusion](https://paooo.com/tag/stable-diffusion/) v1.5
   在长文本对齐任务上表现优于PixArt-α和Kandinsky v2.2。

## LongAlign是什么

LongAlign是香港大学研究团队推出的文本到图像（T2I）扩散模型的改进方法，能提升长文本
输入的对齐精度。LongAlign用段级编码技术，将长文本分割处理，适应编码模型的输入限制。
同时引入分解偏好优化，基于区分偏好模型中的文本相关和无关部分，应用不同权重减少过
拟合，增强对齐度。经过20小时微调，LongAlign显著提高Stable Diffusion v1.5模型在长
文本对齐任务上的性能，超越PixArt-α和Kandinsky v2.2等先进模型。

阅读目录

 * [LongAlign是什么](https://paooo.com/aigc-news/25277/#longalign%e6%98%af%e4%bb%80%e4%b9%88)
 * [LongAlign的主要功能](https://paooo.com/aigc-news/25277/#longalign%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [LongAlign的技术原理](https://paooo.com/aigc-news/25277/#longalign%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [LongAlign的项目地址](https://paooo.com/aigc-news/25277/#longalign%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [LongAlign的应用场景](https://paooo.com/aigc-news/25277/#longalign%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![LongAlign](https://paooo.com/wp-content/uploads/2026/07/LongAlign-website-1.avif)

## LongAlign的主要功能

 * **长文本处理**：基于分段级编码方法，处理长文本输入，克服预训练编码模型如CLIP的
   最大输入长度限制。
 * **文本到图像对齐**：提高生成图像与输入文本之间的对齐度，确保图像内容与文本描述
   的准确性。
 * **减少过拟合**：基于偏好分解和重加权策略，LongAlign减少了微调过程中的过拟合问题，
   提高了模型的泛化能力。

## LongAlign的技术原理

 * **分段级编码**：将长文本分割成多个段落（或句子），每个段落独立编码，将编码结果
   合并。支持模型处理超出最大输入长度限制的文本。
 * **偏好分解**：分析偏好模型的评分机制，将偏好分数分解为两部分：文本相关部分（衡量
   文本到图像的对齐）和文本无关部分（评估图像的其他视觉方面，如美学）。
 * **重加权策略**：为解决过拟合问题，LongAlign提出一种为文本相关和无关部分分配不同
   权重的策略。策略基于减少文本无关部分的权重，增强模型对文本内容的关注，提高对齐
   度。

## LongAlign的项目地址

 * **GitHub仓库**：[https://github.com/luping-liu/LongAlign](https://github.com/luping-liu/LongAlign)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.11817](https://arxiv.org/pdf/2410.11817)

## LongAlign的应用场景

 * **艺术创作**：艺术家和设计师生成与详细描述相匹配的图像，在数字艺术创作中实现更
   精确的视觉表达。
 * **游戏开发**：在游戏设计中，帮助创建与游戏背景故事或特定场景描述相符合的图像和
   概念艺术。
 * **电影和娱乐行业**：电影制作人和娱乐行业生成与剧本或故事板描述相匹配的图像，用于
   前期制作或视觉特效设计。
 * **广告和营销**：广告公司生成与广告文案或营销活动描述相匹配的图像，提高广告的视觉
   吸引力。
 * **教育和培训**：在教育领域，生成与教学材料或课程内容描述相匹配的图像，增强学习
   体验。

❓ 常见问题解答（FAQ）

LongAlign解决了什么问题？

LongAlign主要解决文本到图像扩散模型处理长文本时的对齐不准问题。它通过段级编码支持
更长输入，并结合偏好分解与重加权策略，提升生成图像与文本描述的一致性。

LongAlign为什么能提升长文本对齐？

它先把长文本拆成多个段落分别编码，再将结果合并，绕开编码器长度限制；同时把偏好分数
拆成文本相关和无关两部分，降低无关因素权重，从而减少过拟合并增强对齐。

LongAlign适合哪些应用场景？

适合需要精确文生图的场景，如艺术创作、游戏概念设计、电影前期制作、广告营销和教育
培训等，尤其适合描述较长、细节较多的文本提示。

🔬 语宙深潜追问 · 进阶实操拆解

LongAlign适合改造哪些扩散模型？

优先用于本身具备较强生成能力、但长文本对齐差的模型，如 Stable Diffusion 系列。若
模型底座太弱，单靠对齐方法提升有限；更适合在已有可用画质基础上补足复杂提示理解。

如何判断长文本对齐是否真的提升？

要同时看主体覆盖、属性一致性和关系正确率，不能只看主观观感。建议用分段提示做对照
实验，并统计漏元素、错关系和风格偏移，才能判断改进是否来自真正的对齐增强。

🗳️ 读者观点微投票 · 您的实战立场是？

LongAlign 解决长文本对齐的代价值得吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Hallo2 – 复旦、百度和南大共同推出的音频驱动视频生成模型](https://paooo.com/aigc-news/26289/)
 * [美团开源LongCat-Image：6B参数逼平闭源模型，8105汉字渲染+图像编辑全搞定](https://paooo.com/ai-tool/12662/)
 * [ACE++ – 阿里通义推出的升级版图像生成与编辑模型](https://paooo.com/aigc-news/22280/)
 * [Glyph-ByT5 – 多语言视觉文本渲染项目](https://paooo.com/aigc-news/27407/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25277/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)