--- title: "LongAlign – 港大推出的提升文本到图像扩散模型处理长文本对齐方法" url: "https://paooo.com/aigc-news/25277/" author: "Prompt 语宙研究院" published_at: "2026-07-12T23:48:29+08:00" updated_at: "2026-07-12T23:48:29+08:00" categories: "AIGC 资讯" tags: "AI绘画提示词, stable diffusion, 大模型微调" source: "Prompt 语宙 (https://paooo.com)" ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)" --- # LongAlign – 港大推出的提升文本到图像扩散模型处理长文本对齐方法 > 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25277/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-12 ## AI 30 秒核心看点 (TL;DR) - 段级编码把长文本拆分处理，缓解CLIP等编码器的输入长度限制。 - 偏好分解+重加权策略减少过拟合，强化图像与文本内容的对齐。 - 20小时微调后，Stable Diffusion v1.5在长文本对齐任务上表现优于PixArt-α和Kandinsky v2.2。 ## LongAlign是什么 LongAlign是香港大学研究团队推出的文本到图像（T2I）扩散模型的改进方法，能提升长文本输入的对齐精度。LongAlign用段级编码技术，将长文本分割处理，适应编码模型的输入限制。同时引入分解偏好优化，基于区分偏好模型中的文本相关和无关部分，应用不同权重减少过拟合，增强对齐度。经过20小时微调，LongAlign显著提高Stable Diffusion v1.5模型在长文本对齐任务上的性能，超越PixArt-α和Kandinsky v2.2等先进模型。 ## LongAlign的主要功能 - **长文本处理**：基于分段级编码方法，处理长文本输入，克服预训练编码模型如CLIP的最大输入长度限制。 - **文本到图像对齐**：提高生成图像与输入文本之间的对齐度，确保图像内容与文本描述的准确性。 - **减少过拟合**：基于偏好分解和重加权策略，LongAlign减少了微调过程中的过拟合问题，提高了模型的泛化能力。 ## LongAlign的技术原理 - **分段级编码**：将长文本分割成多个段落（或句子），每个段落独立编码，将编码结果合并。支持模型处理超出最大输入长度限制的文本。 - **偏好分解**：分析偏好模型的评分机制，将偏好分数分解为两部分：文本相关部分（衡量文本到图像的对齐）和文本无关部分（评估图像的其他视觉方面，如美学）。 - **重加权策略**：为解决过拟合问题，LongAlign提出一种为文本相关和无关部分分配不同权重的策略。策略基于减少文本无关部分的权重，增强模型对文本内容的关注，提高对齐度。 ## LongAlign的项目地址 - **GitHub仓库**：[https://github.com/luping-liu/LongAlign](https://github.com/luping-liu/LongAlign) - **arXiv技术论文**：[https://arxiv.org/pdf/2410.11817](https://arxiv.org/pdf/2410.11817) ## LongAlign的应用场景 - **艺术创作**：艺术家和设计师生成与详细描述相匹配的图像，在数字艺术创作中实现更精确的视觉表达。 - **游戏开发**：在游戏设计中，帮助创建与游戏背景故事或特定场景描述相符合的图像和概念艺术。 - **电影和娱乐行业**：电影制作人和娱乐行业生成与剧本或故事板描述相匹配的图像，用于前期制作或视觉特效设计。 - **广告和营销**：广告公司生成与广告文案或营销活动描述相匹配的图像，提高广告的视觉吸引力。 - **教育和培训**：在教育领域，生成与教学材料或课程内容描述相匹配的图像，增强学习体验。 ## 常见问题解答 (FAQ) ### LongAlign解决了什么问题？ LongAlign主要解决文本到图像扩散模型处理长文本时的对齐不准问题。它通过段级编码支持更长输入，并结合偏好分解与重加权策略，提升生成图像与文本描述的一致性。 ### LongAlign为什么能提升长文本对齐？ 它先把长文本拆成多个段落分别编码，再将结果合并，绕开编码器长度限制；同时把偏好分数拆成文本相关和无关两部分，降低无关因素权重，从而减少过拟合并增强对齐。 ### LongAlign适合哪些应用场景？ 适合需要精确文生图的场景，如艺术创作、游戏概念设计、电影前期制作、广告营销和教育培训等，尤其适合描述较长、细节较多的文本提示。 --- 探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)