# DuoAttention – 提高LLMs处理长上下文推理效率的AI框架

- Link: https://paooo.com/aigc-news/26103/
- Published: 2026-07-18T06:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 将注意力头拆分为检索头与流式头，分别采用完整 KV 与固定长度 KV，提升长上下文效率。
 * 在减少内存消耗的同时，加速解码和预填充，并尽量保持长短上下文任务准确性。
 * 结合量化后，DuoAttention 可在单个 GPU 上实现高达 330 万 token 的上下文推理。

## DuoAttention是什么

DuoAttention是新型的框架，由MIT韩松团队提出，用在提高大型语言模型（LLMs）在处理长
上下文时的推理效率。基于区分“检索头”和“流式头”两种注意力头，优化模型的内存使用和
计算速度。检索头负责处理长距离依赖，需要完整的键值（KV）缓存，流式头关注最近token
和注意力汇聚点，只需固定长度的KV缓存。两种注意力头让DuoAttention在保持模型准确性的
同时，减少内存消耗和提高解码及预填充的速度。结合量化技术，DuoAttention能在单个GPU
上实现高达330万token的上下文推理，是处理长文本信息的有效方案。

阅读目录

 * [DuoAttention是什么](https://paooo.com/aigc-news/26103/#duoattention%e6%98%af%e4%bb%80%e4%b9%88)
 * [DuoAttention的主要功能](https://paooo.com/aigc-news/26103/#duoattention%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DuoAttention的技术原理](https://paooo.com/aigc-news/26103/#duoattention%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DuoAttention的项目地址](https://paooo.com/aigc-news/26103/#duoattention%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DuoAttention的应用场景](https://paooo.com/aigc-news/26103/#duoattention%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DuoAttention](https://paooo.com/wp-content/uploads/2026/07/DuoAttention-website-
1.avif)

## DuoAttention的主要功能

 * **提高长上下文推理效率**：基于优化大型语言模型（LLMs）的注意力机制，DuoAttention
   显著提升模型处理长上下文数据的能力。
 * **减少内存消耗**：区分需要完整KV缓存的检索头和只需固定长度KV缓存的流式头，减少
   模型运行时的内存占用。
 * **加速解码和预填充过程**：DuoAttention优化模型的解码速度和预填充（Pre-filling）
   速度，提高LLMs的响应时间和处理效率至关重要。
 * **保持模型准确性**：在减少内存消耗和提高效率的同时，DuoAttention能保持模型在处理
   长短上下文任务时的准确性。

## DuoAttention的技术原理

 * **注意力头的区分**：DuoAttention将LLMs中的注意力头分为检索头和流式头。检索头负责
   捕捉上下文中的关键信息，对所有token进行完整注意力处理；流式头主要处理近期token
   和注意力汇聚点，不需要存储全部历史KV状态。
 * **检索头的KV缓存优化**：为检索头保留完整的KV缓存，确保能捕捉到长距离依赖信息。
 * **流式头的轻量级KV缓存**：流式头用固定长度的KV缓存，减少对内存的需求，支持模型
   高效处理长序列数据。
 * **检索头的自动识别**：DuoAttention用基于优化的算法和合成数据集训练模型，自动识别
   出哪些头是检索头，在推理时为分配适当的KV缓存策略。
 * **合成数据集**：设计合成数据集和密码召回任务，DuoAttention能确定哪些注意力头在
   保留或丢弃KV缓存后对模型输出有显著影响，优化模型的长上下文处理能力。

## DuoAttention的项目地址

 * **GitHub仓库**：[https://github.com/mit-han-lab/duo-attention](https://github.com/mit-han-lab/duo-attention)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.10819](https://arxiv.org/pdf/2410.10819)

## DuoAttention的应用场景

 * **多轮对话系统**：在聊天机器人或虚拟助手中，处理多轮对话中的历史信息，让系统更好
   地理解上下文，提供更准确和连贯的回答。
 * **长文档处理**：对于需要分析大量文本数据的应用，如法律文件审核、医学研究论文阅读
   或长篇文章的摘要生成，DuoAttention能高效地处理长文本，提取关键信息。
 * **教育和研究**：在学术研究中，研究人员需要分析大量的文献和数据。DuoAttention能
   快速理解大量文献中的信息，加速研究进程。
 * **内容推荐系统**：在推荐系统中，理解用户的历史行为和偏好，提供更个性化的内容推荐。
 * **自然语言理解**：在需要深入理解自然语言的复杂任务中，如情感分析、意图识别等，
   DuoAttention能提供对长上下文的深入理解，提高任务的准确性。

❓ 常见问题解答（FAQ）

DuoAttention 主要解决什么问题？

它主要解决大型语言模型在长上下文推理时的内存占用高、计算慢的问题。通过区分检索头
和流式头，分别采用不同 KV 缓存策略，在尽量保持准确性的前提下提升效率。

DuoAttention 为什么能减少显存占用？

因为并非所有注意力头都需要完整历史 KV。检索头保留完整 KV 以捕捉长距离依赖，流式头
只保留固定长度 KV，因此整体缓存更轻量，显存压力更小。

DuoAttention 适合哪些应用场景？

适合多轮对话、长文档处理、学术研究、内容推荐和自然语言理解等需要长上下文建模的任务，
尤其适合需要兼顾效率与准确性的长文本推理场景。

🔬 语宙深潜追问 · 进阶实操拆解

检索头和流式头怎么分工最合理？

检索头负责抓远距离关键信息，流式头负责维持局部连贯和生成稳定性。实践中可按层或按
头分配职责，再结合任务类型动态调整比例，这样既保留长程记忆，也避免所有头都承担高
成本注意力。

330 万 token 场景下怎么做工程优化？

先做 KV 缓存压缩、分块预填充和量化，再考虑稀疏注意力与分页管理。真正上线时还要监
控吞吐、显存碎片和回退策略，因为超长上下文的瓶颈往往不只在模型本身，还在系统调度。

🗳️ 读者观点微投票 · 您的实战立场是？

长上下文推理，真该靠注意力分流吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [LTM-2-mini – Magic公司推出的支持1亿token上下文AI模型](https://paooo.com/aigc-news/27093/)
 * [大语言模型在长上下文中的信息检索应用 [译]](https://paooo.com/ai-study/8562/)
 * [MoBA – Moonshot AI 提出的新型注意力机制](https://paooo.com/aigc-news/21753/)
 * [月之暗面开源Kimi Linear架构：6倍解码提速、长文本处理效率革命](https://paooo.com/aigc-news/13150/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/26103/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
