Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 清华联手智谱推出IndexCache:稀疏注意力加速技术,长上下文推理提速近2倍,零性能损失
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
清华联手智谱推出IndexCache:稀疏注意力加速技术,长上下文推理提速近2倍,零性能损失
Prompt 语宙 > AI 工具 > 清华联手智谱推出IndexCache:稀疏注意力加速技术,长上下文推理提速近2倍,零性能损失
AI 工具AIGC 资讯

清华联手智谱推出IndexCache:稀疏注意力加速技术,长上下文推理提速近2倍,零性能损失

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:04
GLM-5 IndexCache 大模型推理加速 智谱AI 稀疏注意力
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 通过跨层复用top-k索引,IndexCache将相邻层重复计算大幅削减,去除约75%索引器开销。
  • 在200K长上下文场景中,预填充提速1.82倍、解码提速1.48倍,且几乎不损失模型性能。
  • 方案已在30B参数模型与744B参数GLM-5上验证,并支持SGLang、vLLM等推理框架。

💡 站外导读:随着大模型上下文窗口迈向百万Token时代,超长文本的处理效率成为AI落地的核心瓶颈。传统稀疏注意力(DSA)中的索引器,在200K上下文下竟占据高达81%的预填充时间,成为显著的性能瓶颈。清华大学与智谱AI团队敏锐地洞察到,相邻模型层在决定关注哪些关键Token时,选择结果惊人地相似。基于此发现,他们推出了IndexCache技术,通过智能的跨层索引复用,大幅削减了冗余计算,为长上下文推理带来了接近翻倍的速度提升。

IndexCache是什么

IndexCache 是清华与智谱团队推出的稀疏注意力加速技术,针对 DeepSeek 稀疏注意力(DSA)中索引器计算开销大的问题,通过跨层复用索引来减少冗余计算。IndexCache发现相邻层选择的 top-k token 重叠率高达 70%-100%,因此将层分为”全量层”(计算并缓存索引)和”共享层”(直接复用缓存)。此方法可去除 75% 的索引器计算,在 200K 上下文场景下实现预填充 1.82 倍、解码 1.48 倍加速,且几乎不损失模型性能,已在 30B 参数模型及 744B 参数的 GLM-5 上验证有效。

阅读目录
  • IndexCache是什么
  • IndexCache的主要功能
  • IndexCache的技术原理
  • IndexCache的关键信息和使用要求
  • IndexCache的核心优势
  • IndexCache的项目地址
  • IndexCache的同类竞品对比
  • IndexCache的应用场景
      • 📝 站长洞察 (Editor’s Insight)

IndexCache

IndexCache的主要功能

  • 跨层索引复用:用相邻层 top-k 索引 70%-100% 的高重叠率,让共享层直接复用全量层的缓存索引,避免重复计算。
  • 大幅降低索引器开销:可去除 75% 的索引器计算,仅保留 1/4 索引器即可维持模型性能。
  • 显著加速推理:在 200K 上下文下实现预填充 1.82 倍、解码 1.48 倍加速,缩短用户等待时间。
  • 零额外内存开销:通过一个条件分支实现复用,无需分配额外 GPU 显存。
  • 提供两种部署方案:无训练方案通过贪心搜索确定最优层模式,训练感知方案通过多层蒸馏损失优化索引器参数。
  • 生产级验证:已在 30B 参数模型和 744B 参数的 GLM-5 上验证有效,支持 SGLang 和 vLLM 推理框架。

IndexCache的技术原理

  • 跨层索引相似性发现:研究团队通过热力图分析发现,DSA 模型相邻层的索引器输出的 top-k token 集合具有极高相似性,重叠率普遍在 70% 至 100% 之间,表明大量索引计算存在冗余。
  • 层角色划分机制:IndexCache 将模型层划分为两类:全量层(Full Layer)保留原有索引器,负责计算并缓存当前最新的 top-k 索引;共享层(Shared Layer)不再运行自身索引器,直接复用最近一个全量层所缓存的索引进行稀疏注意力计算。
  • 动态模式选择策略:针对已训练模型,采用基于校准数据的贪心搜索算法,逐一尝试将层转为共享层并评估对模型输出的影响,保留关键层作为全量层;针对从头训练场景,引入多层蒸馏损失,让每个全量层索引器同时学习服务其后多个共享层的需求。
  • 推理流程优化:在推理过程中,每层仅增加一个简单的条件判断,根据预设模式在计算新索引与复用缓存索引之间切换,实现索引器的跨层共享,无需修改模型架构或增加额外存储。

IndexCache的关键信息和使用要求

  • 提出机构:清华大学与智谱(Z.ai)联合研发。
  • 针对问题:解决 DeepSeek 稀疏注意力中索引器在长上下文场景下的计算瓶颈,200K token 时占预填充时间高达 81%。
  • 核心原理:基于相邻层 top-k 索引 70%-100% 的高重叠率,通过跨层复用减少冗余计算。
  • 加速效果:保留 1/4 索引器即可实现预填充 1.82 倍、解码 1.48 倍加速。
  • 性能损失:几乎无质量损失,部分推理任务甚至表现更优。
  • 验证模型:在 30B 参数 DSA 模型及 744B 参数 GLM-5 上均验证有效。
  • 硬件要求:需 NVIDIA GPU(如 H100),但无需额外显存,复用标准 DSA 内存空间。
  • 软件环境:支持 SGLang 或 vLLM 框架,提供现成补丁可直接用于 DeepSeek-V3.2、GLM-5 等模型。
  • 无训练方案:适用已训练好的 DSA 模型,需准备小批量校准数据运行贪心搜索确定最优层模式。

IndexCache的核心优势

  • 显著加速:支持200K 上下文下预填充提速 1.82 倍、解码提速 1.48 倍,大幅降低用户等待时间。
  • 零性能损失:去除 75% 索引器计算后,模型质量几乎无损,部分任务甚至略有提升。
  • 零额外开销:一个条件分支实现复用,不增加 GPU 显存占用,复用标准 DSA 已分配内存。
  • 即插即用:提供 SGLang 和 vLLM 补丁,无需修改模型架构,可直接应用于 DeepSeek-V3.2、GLM-5 等主流模型。
  • 灵活部署:支持无训练和训练感知两种方案,适配已训练模型和从头训练场景,索引器保留比例可灵活配置。
  • 生产级验证:已在 744B 参数的 GLM-5 大模型上验证有效,具备规模化部署能力。

IndexCache的项目地址

  • GitHub仓库:https://github.com/THUDM/IndexCache
  • arXiv技术论文:https://arxiv.org/pdf/2603.12201

IndexCache的同类竞品对比

对比维度 IndexCache 原生 DSA Full Attention Anchor 方法
核心机制 跨层复用索引器输出的 top-k 索引 每层独立运行轻量级索引器 依赖全注意力锚点层复用索引
计算开销 去除 75% 索引器,预填充加速 1.82 倍 200K 上下文下索引器占 81% 预填充时间 需保留全注意力层,计算成本较高
适用场景 完全消除全注意力的 DSA 架构 标准 DSA 部署 需全注意力作为锚点的架构
实现复杂度 一个 if/else 分支,零额外显存 标准实现 需设计锚点层策略
训练要求 支持无训练部署或训练感知优化 需完整训练 通常需联合训练
生产验证 744B GLM-5 验证 DeepSeek-V3 生产应用 多为中小规模实验

IndexCache的应用场景

  • 长文档处理:适用论文阅读、法律合同分析等场景,200K 上下文下预填充提速 1.82 倍,显著降低用户等待首 token 的时间。
  • 多步推理任务:支持数学证明、代码生成等复杂逻辑链推理,解码提速 1.48 倍,加速思维链生成过程。
  • Agent 工作流:赋能多轮工具调用、自主任务规划等 agentic 流程,降低长上下文推理成本,支持更复杂的智能体交互。
  • RAG 系统:用在大规模知识库检索增强生成,高效处理 web-scale 检索结果的长上下文整合与生成。
  • 实时对话服务:适用客服机器人、智能助手等在线服务,提升吞吐量并降低 serving 成本,改善终端用户体验。

📝 站长洞察 (Editor’s Insight)

IndexCache的出现,标志着大模型推理优化正从粗放的算力堆砌,走向对计算流的精细外科手术式改造。其核心洞察——相邻层索引的高度重叠,揭示了深度学习模型中存在大量未被充分利用的“计算冗余”。这不仅是一项具体的加速技术,更是一种系统优化的新范式:通过分析模型内部的计算依赖与模式,用极低的工程代价(如一个条件分支)换取巨大的效率提升。在追求更大、更强模型的同时,如何让现有算力发挥出120%甚至200%的效能,才是产业界最务实、最紧迫的需求。IndexCache在744B参数GLM-5上的成功验证,预示着此类“内功修炼”式的优化将从实验室论文快速走向生产环境,成为支撑下一代AI Agent和实时长上下文应用的隐形基石。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
DeepSeek ↗
DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界级推理能力的 A
Z.ai ↗
Z.ai 是智谱AI(Zhipu AI)面向全球用户推出的官方AI模型体验与开发者平台。其核心功能围绕其自研的G
❓ 常见问题解答(FAQ)
IndexCache解决了什么问题?

它主要解决DeepSeek稀疏注意力中索引器在长上下文下计算过重的问题。文章指出在200K上下文时,索引器可占预填充时间的81%,IndexCache通过跨层复用索引减少冗余计算。

IndexCache为什么能加速长上下文推理?

因为相邻层选择的top-k token重叠率高达70%-100%,很多索引结果可以直接复用。IndexCache将层分为全量层和共享层,减少约75%的索引器计算,从而提升推理速度。

IndexCache会增加显存或损失效果吗?

文章给出的结论是几乎没有额外显存开销,只需一个条件分支即可复用缓存索引。性能方面也几乎无损,部分任务甚至表现更优,已在30B模型和GLM-5上验证。

🔬 语宙深潜追问 · 进阶实操拆解
IndexCache适合替换哪些长上下文场景?

最适合预填充成本高、上下文重复度高的场景,如长文档问答、代码仓库分析和多轮对话记忆。若任务对极端精度敏感,建议先做A/B测试,确认索引复用不会影响少数关键token的召回。

如何判断它是否真的零性能损失?

不能只看平均分,要看长尾样本、困难样本和不同长度分桶表现。实操上应对比基线模型在任务成功率、答案一致性和关键位置注意力分布上的变化,必要时加入人工抽检验证。

🗳️ 读者观点微投票 · 您的实战立场是?
长上下文提速近2倍,稀疏注意力还值得继续押注吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🏮 所属权威专题:国产大模型选型与资费对比 →
  • 优化 Character.AI 的 AI 推理 [译]
  • 2800亿MoE仅激活140亿且原生百万长上下文!百度重磅开源文心5.5 Flash Base:首创Latent-Gated稀疏注意力、ECHO序列外推与全基准同尺寸SOTA全景架构深度拆解
  • 谷歌TurboQuant算法:3-bit压缩实现6倍内存节省与8倍推理加速,大模型KV Cache无损优化
  • 打破算力吞吐与调度瓶颈!DeepSeek 正式开源内部推理框架 DeepInfer:集成 SWA 机制、推测解码与双轨硬件适配全景深度解析
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
阿里Qwen团队重磅开源WebWorld:百万级真实网页世界模型,三大版本赋能下一代智能体
百万Token仅1元+速度狂飙3倍!MiniMax 正式发布 M3.1Flash:激进稀疏注意力加持,OSWorld V2与ALE斩获国产第一
Snap Video – Snapchat公司推出的AI视频生成模型
微软开源Harrier-OSS-V1多语言文本嵌入模型:SOTA性能碾压群雄,27B/0.6B/270M三版本全面布局
ChildMandarin – 智源联合南开开源的低幼儿童中文语音数据集
TAGGED:GLM-5IndexCache大模型推理加速智谱AI稀疏注意力
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 VITRON – Skywork AI 联合新加坡国立、南洋理工推出的像素级视觉大型语言模型 VITRON – Skywork AI 联合新加坡国立、南洋理工推出的像素级视觉大型语言模型
下一篇 Hallo3 – 复旦联合百度开源的高动态与真实感肖像动画生成框架 Hallo3 – 复旦联合百度开源的高动态与真实感肖像动画生成框架
Ad image
Ad image

最近更新

Rest of World 调查揭示 AI 大模型数据产业链现状:高学历专家与全球劳动力正在被平台纳入按件计费的零工模式
美国心脏科医生时薪180美元、东南亚仅7.5美元?揭秘大模型“专家零工化”暗面:Scale AI与Mercor的算力人力套利
AIGC 资讯
Forrester 发布“信任与保障组织(TAO)”研究报告概念图:AI 重塑企业安全团队架构与 CISO 治理权责边界
37%企业AI项目未投产先折戟!Forrester呼吁CISO重构安全架构:打造TAO“信任与保障组织”,弥合权责与能力双缺口
最新趋势
Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具

相关推荐

Dubbing v2 – ElevenLabs 推出的 AI 配音模型
AIGC 资讯

Dubbing v2 – ElevenLabs 推出的 AI 配音模型

Prompt 语宙研究院
AI音频与语音 ElevenLabs TikTok YouTube 大模型微调
美团辟谣LongCat模型负责人离职,持续推进国产算力万亿大模型落地
AIGC 资讯

美团辟谣LongCat模型负责人离职,持续推进国产算力万亿大模型落地

Prompt 语宙研究院
AI智能体 Claude Claude Code Cursor 开源大模型
谷歌 DeepMind CEO:AGI 将至,关键三年窗口期人类准备好了吗?
AIGC 资讯最新趋势

谷歌 DeepMind CEO:AGI 将至,关键三年窗口期人类准备好了吗?

Prompt 语宙研究院
AGI AI智能体 多模态 谷歌 DeepMind 通用人工智能
400亿美元算力豪赌突遭急刹!新型云Nebius激进Capex遭遇交付滑铁卢:微软194亿订单被迫延期至2027、违规发电机被罚110万与Neocloud预付款融资脆弱性深度拆解
AIGC 资讯

400亿美元算力豪赌突遭急刹!新型云Nebius激进Capex遭遇交付滑铁卢:微软194亿订单被迫延期至2027、违规发电机被罚110万与Neocloud预付款融资脆弱性深度拆解

Prompt 语宙研究院
Nebius Neocloud 微软 数据中心基建 算力租赁
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.