# 清华联手智谱推出IndexCache：稀疏注意力加速技术，长上下文推理提速近2倍，零性能损失

- Link: https://paooo.com/aigc-news/11212/
- Published: 2026-06-09T15:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 通过跨层复用top-k索引，IndexCache将相邻层重复计算大幅削减，去除约75%索引器开销。
 * 在200K长上下文场景中，预填充提速1.82倍、解码提速1.48倍，且几乎不损失模型性能。
 * 方案已在30B参数模型与744B参数GLM-5上验证，并支持SGLang、vLLM等推理框架。

> **💡 站外导读：**随着大模型上下文窗口迈向百万Token时代，超长文本的处理效率成为
> AI落地的核心瓶颈。传统稀疏注意力（DSA）中的索引器，在200K上下文下竟占据高达81%
> 的预填充时间，成为显著的性能瓶颈。清华大学与智谱AI团队敏锐地洞察到，相邻模型层
> 在决定关注哪些关键Token时，选择结果惊人地相似。基于此发现，他们推出了IndexCache
> 技术，通过智能的跨层索引复用，大幅削减了冗余计算，为长上下文推理带来了接近翻倍
> 的速度提升。

## IndexCache是什么

IndexCache 是清华与智谱团队推出的稀疏注意力加速技术，针对 [DeepSeek](https://paooo.com/?s=DeepSeek)
稀疏注意力（DSA）中索引器计算开销大的问题，通过跨层复用索引来减少冗余计算。IndexCache
发现相邻层选择的 top-k token 重叠率高达 70%-100%，因此将层分为”全量层”（计算并缓
存索引）和”共享层”（直接复用缓存）。此方法可去除 75% 的索引器计算，在 200K 上下文
场景下实现预填充 1.82 倍、解码 1.48 倍加速，且几乎不损失模型性能，已在 30B 参数模型
及 744B 参数的 [GLM-5](https://ai-bot.cn/glm-5/) 上验证有效。

阅读目录

 * [IndexCache是什么](https://paooo.com/aigc-news/11212/#indexcache%e6%98%af%e4%bb%80%e4%b9%88)
 * [IndexCache的主要功能](https://paooo.com/aigc-news/11212/#indexcache%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [IndexCache的技术原理](https://paooo.com/aigc-news/11212/#indexcache%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [IndexCache的关键信息和使用要求](https://paooo.com/aigc-news/11212/#indexcache%e7%9a%84%e5%85%b3%e9%94%ae%e4%bf%a1%e6%81%af%e5%92%8c%e4%bd%bf%e7%94%a8%e8%a6%81%e6%b1%82)
 * [IndexCache的核心优势](https://paooo.com/aigc-news/11212/#indexcache%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [IndexCache的项目地址](https://paooo.com/aigc-news/11212/#indexcache%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [IndexCache的同类竞品对比](https://paooo.com/aigc-news/11212/#indexcache%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [IndexCache的应用场景](https://paooo.com/aigc-news/11212/#indexcache%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/11212/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![IndexCache](https://paooo.com/wp-content/uploads/2026/05/IndexCache-website-1.
avif)

## IndexCache的主要功能

 * **跨层索引复用**：用相邻层 top-k 索引 70%-100% 的高重叠率，让共享层直接复用全量
   层的缓存索引，避免重复计算。
 * **大幅降低索引器开销**：可去除 75% 的索引器计算，仅保留 1/4 索引器即可维持模型
   性能。
 * **显著加速推理**：在 200K 上下文下实现预填充 1.82 倍、解码 1.48 倍加速，缩短用户
   等待时间。
 * **零额外内存开销**：通过一个条件分支实现复用，无需分配额外 GPU 显存。
 * **提供两种部署方案**：无训练方案通过贪心搜索确定最优层模式，训练感知方案通过多
   层蒸馏损失优化索引器参数。
 * **生产级验证**：已在 30B 参数模型和 744B 参数的 GLM-5 上验证有效，支持 SGLang
   和 vLLM 推理框架。

## IndexCache的技术原理

 * **跨层索引相似性发现**：研究团队通过热力图分析发现，DSA 模型相邻层的索引器输出
   的 top-k token 集合具有极高相似性，重叠率普遍在 70% 至 100% 之间，表明大量索引
   计算存在冗余。
 * **层角色划分机制**：IndexCache 将模型层划分为两类：全量层（Full Layer）保留原有
   索引器，负责计算并缓存当前最新的 top-k 索引；共享层（Shared Layer）不再运行自身
   索引器，直接复用最近一个全量层所缓存的索引进行稀疏注意力计算。
 * **动态模式选择策略**：针对已训练模型，采用基于校准数据的贪心搜索算法，逐一尝试
   将层转为共享层并评估对模型输出的影响，保留关键层作为全量层；针对从头训练场景，
   引入多层蒸馏损失，让每个全量层索引器同时学习服务其后多个共享层的需求。
 * **推理流程优化**：在推理过程中，每层仅增加一个简单的条件判断，根据预设模式在计算
   新索引与复用缓存索引之间切换，实现索引器的跨层共享，无需修改模型架构或增加额外
   存储。

## IndexCache的关键信息和使用要求

 * **提出机构**：清华大学与智谱（Z.ai）联合研发。
 * **针对问题**：解决 DeepSeek 稀疏注意力中索引器在长上下文场景下的计算瓶颈，200K
   token 时占预填充时间高达 81%。
 * **核心原理**：基于相邻层 top-k 索引 70%-100% 的高重叠率，通过跨层复用减少冗余
   计算。
 * **加速效果**：保留 1/4 索引器即可实现预填充 1.82 倍、解码 1.48 倍加速。
 * **性能损失**：几乎无质量损失，部分推理任务甚至表现更优。
 * **验证模型**：在 30B 参数 DSA 模型及 744B 参数 GLM-5 上均验证有效。
 * **硬件要求**：需 NVIDIA GPU（如 H100），但无需额外显存，复用标准 DSA 内存空间。
 * **软件环境**：支持 SGLang 或 vLLM 框架，提供现成补丁可直接用于 DeepSeek-V3.2、
   GLM-5 等模型。
 * **无训练方案**：适用已训练好的 DSA 模型，需准备小批量校准数据运行贪心搜索确定
   最优层模式。

## IndexCache的核心优势

 * **显著加速**：支持200K 上下文下预填充提速 1.82 倍、解码提速 1.48 倍，大幅降低
   用户等待时间。
 * **零性能损失**：去除 75% 索引器计算后，模型质量几乎无损，部分任务甚至略有提升。
 * **零额外开销**：一个条件分支实现复用，不增加 GPU 显存占用，复用标准 DSA 已分配
   内存。
 * **即插即用**：提供 SGLang 和 vLLM 补丁，无需修改模型架构，可直接应用于 DeepSeek-
   V3.2、GLM-5 等主流模型。
 * **灵活部署**：支持无训练和训练感知两种方案，适配已训练模型和从头训练场景，索引
   器保留比例可灵活配置。
 * **生产级验证**：已在 744B 参数的 GLM-5 [大模型](https://paooo.com/ai-study/)上
   验证有效，具备规模化部署能力。

## IndexCache的项目地址

 * **GitHub仓库**：https://github.com/THUDM/IndexCache
 * **arXiv技术论文**：https://arxiv.org/pdf/2603.12201

## IndexCache的同类竞品对比

  |  对比维度 |  IndexCache |  原生 DSA |  Full Attention Anchor 方法 |  
   |  **核心机制** |  跨层复用索引器输出的 top-k 索引 |  每层独立运行轻量级索引器 |  依赖全注意力锚点层复用索引 |  
 |  **计算开销** |  去除 75% 索引器，预填充加速 1.82 倍 |  200K 上下文下索引器占 81% 预填充时间 |  需保留全注意力层，计算成本较高 |  
 |  **适用场景** |  完全消除全注意力的 DSA 架构 |  标准 DSA 部署 |  需全注意力作为锚点的架构 |  
 |  **实现复杂度** |  一个 if/else 分支，零额外显存 |  标准实现 |  需设计锚点层策略 |  
 |  **训练要求** |  支持无训练部署或训练感知优化 |  需完整训练 |  通常需联合训练 |  
 |  **生产验证** |  744B GLM-5 验证 |  DeepSeek-V3 生产应用 |  多为中小规模实验 |

## IndexCache的应用场景

 * **长文档处理**：适用论文阅读、法律合同分析等场景，200K 上下文下预填充提速 1.82
   倍，显著降低用户等待首 token 的时间。
 * **多步推理任务**：支持数学证明、代码生成等复杂逻辑链推理，解码提速 1.48 倍，加速
   思维链生成过程。
 * **[Agent](https://paooo.com/trends/) 工作流**：赋能多轮工具调用、自主任务规划
   等 agentic 流程，降低长上下文推理成本，支持更复杂的智能体交互。
 * **RAG 系统**：用在大规模知识库检索增强生成，高效处理 web-scale 检索结果的长上下文
   整合与生成。
 * **实时对话服务**：适用客服机器人、智能助手等在线服务，提升吞吐量并降低 serving
   成本，改善终端用户体验。

#### 📝 站长洞察 (Editor’s Insight)

IndexCache的出现，标志着大模型推理优化正从粗放的算力堆砌，走向对计算流的精细外科
手术式改造。其核心洞察——相邻层索引的高度重叠，揭示了深度学习模型中存在大量未被充分利用
的“计算冗余”。这不仅是一项具体的加速技术，更是一种系统优化的新范式：通过分析模型
内部的计算依赖与模式，用极低的工程代价（如一个条件分支）换取巨大的效率提升。在追求
更大、更强模型的同时，如何让现有算力发挥出120%甚至200%的效能，才是产业界最务实、
最紧迫的需求。IndexCache在744B参数GLM-5上的成功验证，预示着此类“内功修炼”式的优化
将从实验室论文快速走向生产环境，成为支撑下一代AI Agent和实时长上下文应用的隐形基石。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

**Z.ai ↗**

Z.ai 是智谱AI（Zhipu AI）面向全球用户推出的官方AI模型体验与开发者平台。其核心功能
围绕其自研的G

❓ 常见问题解答（FAQ）

IndexCache解决了什么问题？

它主要解决DeepSeek稀疏注意力中索引器在长上下文下计算过重的问题。文章指出在200K上下文
时，索引器可占预填充时间的81%，IndexCache通过跨层复用索引减少冗余计算。

IndexCache为什么能加速长上下文推理？

因为相邻层选择的top-k token重叠率高达70%-100%，很多索引结果可以直接复用。IndexCache
将层分为全量层和共享层，减少约75%的索引器计算，从而提升推理速度。

IndexCache会增加显存或损失效果吗？

文章给出的结论是几乎没有额外显存开销，只需一个条件分支即可复用缓存索引。性能方面
也几乎无损，部分任务甚至表现更优，已在30B模型和GLM-5上验证。

🔬 语宙深潜追问 · 进阶实操拆解

IndexCache适合替换哪些长上下文场景？

最适合预填充成本高、上下文重复度高的场景，如长文档问答、代码仓库分析和多轮对话记忆。
若任务对极端精度敏感，建议先做A/B测试，确认索引复用不会影响少数关键token的召回。

如何判断它是否真的零性能损失？

不能只看平均分，要看长尾样本、困难样本和不同长度分桶表现。实操上应对比基线模型在
任务成功率、答案一致性和关键位置注意力分布上的变化，必要时加入人工抽检验证。

🗳️ 读者观点微投票 · 您的实战立场是？

长上下文提速近2倍，稀疏注意力还值得继续押注吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🏮 所属权威专题：国产大模型选型与资费对比 →](https://paooo.com/topics/domestic-llm-ecosystem/)

 * [优化 Character.AI 的 AI 推理 [译]](https://paooo.com/ai-study/8737/)
 * [2800亿MoE仅激活140亿且原生百万长上下文！百度重磅开源文心5.5 Flash Base：首创Latent-Gated稀疏注意力、ECHO序列外推与全基准同尺寸SOTA全景架构深度拆解](https://paooo.com/aigc-news/41611/)
 * [谷歌TurboQuant算法：3-bit压缩实现6倍内存节省与8倍推理加速，大模型KV Cache无损优化](https://paooo.com/aigc-news/11107/)
 * [打破算力吞吐与调度瓶颈！DeepSeek 正式开源内部推理框架 DeepInfer：集成 SWA 机制、推测解码与双轨硬件适配全景深度解析](https://paooo.com/aigc-news/40355/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/11212/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
