Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DuoAttention – 提高LLMs处理长上下文推理效率的AI框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
DuoAttention – 提高LLMs处理长上下文推理效率的AI框架
Prompt 语宙 > AIGC 资讯 > DuoAttention – 提高LLMs处理长上下文推理效率的AI框架
AIGC 资讯

DuoAttention – 提高LLMs处理长上下文推理效率的AI框架

Prompt 语宙研究院
最近更新: 2026年7月18日 上午6:18
AI智能体 Llama RAG检索增强 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 将注意力头拆分为检索头与流式头,分别采用完整 KV 与固定长度 KV,提升长上下文效率。
  • 在减少内存消耗的同时,加速解码和预填充,并尽量保持长短上下文任务准确性。
  • 结合量化后,DuoAttention 可在单个 GPU 上实现高达 330 万 token 的上下文推理。

DuoAttention是什么

DuoAttention是新型的框架,由MIT韩松团队提出,用在提高大型语言模型(LLMs)在处理长上下文时的推理效率。基于区分“检索头”和“流式头”两种注意力头,优化模型的内存使用和计算速度。检索头负责处理长距离依赖,需要完整的键值(KV)缓存,流式头关注最近token和注意力汇聚点,只需固定长度的KV缓存。两种注意力头让DuoAttention在保持模型准确性的同时,减少内存消耗和提高解码及预填充的速度。结合量化技术,DuoAttention能在单个GPU上实现高达330万token的上下文推理,是处理长文本信息的有效方案。

阅读目录
  • DuoAttention是什么
  • DuoAttention的主要功能
  • DuoAttention的技术原理
  • DuoAttention的项目地址
  • DuoAttention的应用场景

DuoAttention

DuoAttention的主要功能

  • 提高长上下文推理效率:基于优化大型语言模型(LLMs)的注意力机制,DuoAttention显著提升模型处理长上下文数据的能力。
  • 减少内存消耗:区分需要完整KV缓存的检索头和只需固定长度KV缓存的流式头,减少模型运行时的内存占用。
  • 加速解码和预填充过程:DuoAttention优化模型的解码速度和预填充(Pre-filling)速度,提高LLMs的响应时间和处理效率至关重要。
  • 保持模型准确性:在减少内存消耗和提高效率的同时,DuoAttention能保持模型在处理长短上下文任务时的准确性。

DuoAttention的技术原理

  • 注意力头的区分:DuoAttention将LLMs中的注意力头分为检索头和流式头。检索头负责捕捉上下文中的关键信息,对所有token进行完整注意力处理;流式头主要处理近期token和注意力汇聚点,不需要存储全部历史KV状态。
  • 检索头的KV缓存优化:为检索头保留完整的KV缓存,确保能捕捉到长距离依赖信息。
  • 流式头的轻量级KV缓存:流式头用固定长度的KV缓存,减少对内存的需求,支持模型高效处理长序列数据。
  • 检索头的自动识别:DuoAttention用基于优化的算法和合成数据集训练模型,自动识别出哪些头是检索头,在推理时为分配适当的KV缓存策略。
  • 合成数据集:设计合成数据集和密码召回任务,DuoAttention能确定哪些注意力头在保留或丢弃KV缓存后对模型输出有显著影响,优化模型的长上下文处理能力。

DuoAttention的项目地址

  • GitHub仓库:https://github.com/mit-han-lab/duo-attention
  • arXiv技术论文:https://arxiv.org/pdf/2410.10819

DuoAttention的应用场景

  • 多轮对话系统:在聊天机器人或虚拟助手中,处理多轮对话中的历史信息,让系统更好地理解上下文,提供更准确和连贯的回答。
  • 长文档处理:对于需要分析大量文本数据的应用,如法律文件审核、医学研究论文阅读或长篇文章的摘要生成,DuoAttention能高效地处理长文本,提取关键信息。
  • 教育和研究:在学术研究中,研究人员需要分析大量的文献和数据。DuoAttention能快速理解大量文献中的信息,加速研究进程。
  • 内容推荐系统:在推荐系统中,理解用户的历史行为和偏好,提供更个性化的内容推荐。
  • 自然语言理解:在需要深入理解自然语言的复杂任务中,如情感分析、意图识别等,DuoAttention能提供对长上下文的深入理解,提高任务的准确性。
❓ 常见问题解答(FAQ)
DuoAttention 主要解决什么问题?

它主要解决大型语言模型在长上下文推理时的内存占用高、计算慢的问题。通过区分检索头和流式头,分别采用不同 KV 缓存策略,在尽量保持准确性的前提下提升效率。

DuoAttention 为什么能减少显存占用?

因为并非所有注意力头都需要完整历史 KV。检索头保留完整 KV 以捕捉长距离依赖,流式头只保留固定长度 KV,因此整体缓存更轻量,显存压力更小。

DuoAttention 适合哪些应用场景?

适合多轮对话、长文档处理、学术研究、内容推荐和自然语言理解等需要长上下文建模的任务,尤其适合需要兼顾效率与准确性的长文本推理场景。

🔬 语宙深潜追问 · 进阶实操拆解
检索头和流式头怎么分工最合理?

检索头负责抓远距离关键信息,流式头负责维持局部连贯和生成稳定性。实践中可按层或按头分配职责,再结合任务类型动态调整比例,这样既保留长程记忆,也避免所有头都承担高成本注意力。

330 万 token 场景下怎么做工程优化?

先做 KV 缓存压缩、分块预填充和量化,再考虑稀疏注意力与分页管理。真正上线时还要监控吞吐、显存碎片和回退策略,因为超长上下文的瓶颈往往不只在模型本身,还在系统调度。

🗳️ 读者观点微投票 · 您的实战立场是?
长上下文推理,真该靠注意力分流吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • LTM-2-mini – Magic公司推出的支持1亿token上下文AI模型
  • 大语言模型在长上下文中的信息检索应用 [译]
  • MoBA – Moonshot AI 提出的新型注意力机制
  • 月之暗面开源Kimi Linear架构:6倍解码提速、长文本处理效率革命
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Mistral Small 3.1 – Mistral AI 开源的多模态 AI 模型
腾讯ARC重磅发布AudioStory:一句话生成叙事音频,AI配音、有声书、游戏音效全搞定
阿里Qwen团队重磅开源WebWorld:百万级真实网页世界模型,三大版本赋能下一代智能体
oli – 开源的终端AI编程助手,支持代码辅助与解释
WebWalker – 阿里推出用于评估LLMs在网页浏览任务中性能的基准工具
TAGGED:AI智能体LlamaRAG检索增强开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 HuggingChat macOS – Hugging Face开源的macOS聊天应用程序 HuggingChat macOS – Hugging Face开源的macOS聊天应用程序
下一篇 OMNE Multiagent – 天桥脑科学研究院推出的大模型多智能体框架 OMNE Multiagent – 天桥脑科学研究院推出的大模型多智能体框架
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

卢伟冰剧透发布会彩排:小米17T系列将登场,机器人互动成瞩目亮点
AIGC 资讯

卢伟冰剧透发布会彩排:小米17T系列将登场,机器人互动成瞩目亮点

Prompt 语宙研究院
3D与空间智能 AI办公效率 AI智能体
披着便利外衣的陷阱!国安部鸣枪警告:警惕“AI中转站”四大致命风险
AIGC 资讯

披着便利外衣的陷阱!国安部鸣枪警告:警惕“AI中转站”四大致命风险

Prompt 语宙研究院
AI办公效率 RAG检索增强 豆包大模型 通义千问
“无发明,无创新”:美国钢铁公司的历史 [译]
强化 AI 学习

“无发明,无创新”:美国钢铁公司的历史 [译]

宝玉的分享
AI办公效率 AI智能体 RAG检索增强 大模型微调 开源大模型
腾讯混元3D-Omni框架发布:多模态控制信号驱动,精准生成高保真3D资产
AI 工具AIGC 资讯

腾讯混元3D-Omni框架发布:多模态控制信号驱动,精准生成高保真3D资产

Prompt 语宙研究院
3D资产生成 Hunyuan3D-Omni 多模态控制 扩散模型 腾讯混元
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.