# 首token延迟砍掉3. 25 倍：小红书联手北大、上交提出HYPIC，给混合注意力大模型装上”位置无关缓存”

- Link: https://paooo.com/aigc-news/31256/
- Published: 2026-07-17T11:47:25+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * HYPIC首次让混合注意力[大模型](https://paooo.com/ai-study/)支持PIC，补上线性层“
   无逐token缓存抓手”的关键缺口。
 * 通过缓存转移算子、缝合窗口和段并行，HYPIC同时加速热请求与长冷请求。
 * 实测在4个生产级模型、5类负载上，TTFT平均降3.25倍，同SLO下QPS提升1.66倍。

大模型服务的主战场，正在从单轮聊天转移到检索增强问答、多文档摘要和长程[Agent](https://paooo.com/trends/)。
这类新负载有一个共同特征:一条请求的prompt往往由几十到上百个语义独立的片段拼接而成，
检索到的文档、技能说明、记忆文件、历史轮次被一股脑组装成数万乃至数十万token的超长
上下文。在这个长度下，预填充（prefill）阶段主导了单请求的算力开销，成为服务商最显眼
的成本来源;更棘手的是，一旦发生缓存未命中，尾部首token延迟(TTFT)能冲到数十秒，直接
砸坏交互体验。

![image.png](https://paooo.com/wp-content/uploads/2026/07/6391988475643325548955417-
1.avif "image.png")

业界为此发展出两条降本路线。一条是位置无关缓存（PIC），它放开严格的前缀约束，让每
个语义独立的片段只缓存一次、并能拼接到任意前缀之后，刚好贴合RAG与Agent的prompt组
装方式，其本质可归结为沿token轴直接拼接的splice、以及重算少量token恢复跨段上下文
的correction两个原语。另一条是混合注意力模型，用线性注意力替换大部分全注意力层，
把注意力的二次复杂度压到线性，并将无界的历史压缩成固定大小的循环状态。近来的生产
模型如MiniMax-M1、Ring-2.5、Qwen3.5、Kimi-Linear，普遍把75%以上的层线性化、保留少量
全注意力层，形成混合注意力的主流设计，以Qwen3.5-35B-A3B为例，40层里有30层是线性层。

矛盾恰恰出在这里:现有PIC操作的是逐token的KV缓存，而线性注意力层只向外暴露一个per-
request的循环状态，没有任何逐token的抓手可供splice或correction。结果是，混合模型
里的大部分层都落在了现有PIC的能力范围之外。在此之前，没有任何系统能为混合注意力大
模型提供位置无关缓存。

![image.png](https://paooo.com/wp-content/uploads/2026/07/6391988477026842041972566.
avif "image.png")

小红书大模型推理团队联合北京大学、上海交通大学提出的HYPIC，是首个在混合注意力大模型
上实现PIC的服务系统。它在4个生产级混合注意力模型、5个工作负载上的测试显示:首token
延迟平均降低3.25倍，同SLO下可持续QPS提升1.66倍，而任务质量与完全重算仅相差1.71分。
这套系统的核心思想，是对混合注意力模型里的线性层和全注意力层分而治之，再用一层系统
级并行把冷请求也一并加速，由三个环环相扣的机制构成。

对线性层，HYPIC缓存的是”转移算子”，实现常数时间的状态组合。最直接的PIC稻草人方案，
是把两段各自的零初值末状态直接相加——这在朴素线性注意力下恰好成立，但在带衰减、门
控、delta擦除的进阶线性注意力（RetNet、Mamba2、GLA、DeltaNet、GDN、KDA等）下会失效。
真正被漏掉的关键量是一个段累积转移算子T_C，即一段内所有token转移矩阵的连乘;真实的
末状态应为S(C1·C2)=T(C2)·S(C1)+S(C2)，朴素相加恰恰丢掉了T(C2)这一项，造成结构性误差，
实测RetNet慢衰减头在256token时误差已达状态范数的22%。HYPIC的关键洞察是，T_C和零初
值末状态S(C|0)都只由片段内部的token决定、与前缀无关，因此它在片段首次prefill时把
二元组(T_C， S(C|0))一并缓存，复用时按组合律左乘T_C再相加，即可在常数时间内近乎精确
地还原任意前缀下的末状态，且天然覆盖全部线性注意力家族。实测在Qwen3.5-35B-A3B上，
组合后的状态在第0层与完全重算仅相差6×10⁻⁵，落在FP16噪声之内。针对带因果卷积、带RoPE
的变体，HYPIC分别用卷积状态热身和状态重旋转两个补丁做了严格对齐。

对全注意力层，HYPIC用”缝合窗口”修复跨段注意力。混合模型中少数的全注意力层仍需要PIC，
但以往的选择性重算无法直接迁移，因为下方的线性层只保留末状态，非末尾token无法向上
穿过全注意力层。两种退路——逐token存循环状态、或从零重新递推——在存储或算力上都不可
接受。团队的观察是，KV拼接后的偏差高度集中在每个复用片段的开头，其余部分几乎不受
影响，这与全注意力模型里的attention sink现象一致，在混合注意力模型里同样成立。据此，
HYPIC为每个内部片段开头w个token构造一个缝合窗口，缓存时这几个token不入缓存，复用
时在完整前缀下重算以修复跨段注意力，默认w=8;由于实际片段长度通常大于512token，缝
合窗口只占极小一部分，重算开销可控。为了支持段首KV重算，线性注意力层在复用时需即时
算出缝合窗口自身的T和S，一边推进running state，一边把每个seam token的逐层输出前传给
上层的全注意力层。

第三块拼图是段并行，它把”长冷请求”也变成了可加速的负载。缓存未命中不可避免——语料
持续更新、低频文档被淘汰，而长冷请求正是尾延迟的主因。现有系统仍把整条prompt当作
一个整体、在单实例上串行prefill所有冷片段，TTFT随O（n·|C|）增长;张量并行等实例内
并行虽能加速单次前向，但扩展性有限，一条100k token请求在TP-8下仍需17.7秒。但PIC已经
让每个片段自包含——其prefill结果只由内部token决定。HYPIC顺势提出实例间的段并行:Router
探测每段命中状态，把冷片段并行分发给多个scatter worker，再由一个combine worker把
各段结果组装成完整运行状态，把冷prefill从O(n·|C|)降到O(⌈n/m⌉·|C|+c)。为了把这条路径
跑满，HYPIC用LPT(最长处理时间优先)贪心策略均衡各worker负载，并把每段的计算与传输
流水线重叠，避免combine worker被同步的传输突发拖住;段并行与实例内并行(TP/DP/SP)作用
在正交的轴上，可无缝叠加。

这套系统已在SGLang上实现，约14k行Python与Triton代码，在8×H20节点上，选取4个生产级
混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B/122B-A10B）、4个公开
数据集(HotpotQA、TriviaQA、MultiNews、GovReport)与1条生产RAG trace完成评测。全量
预热后，HYPIC相比Prefix Cache将p50TTFT平均降低3.25倍(各模型2.77×至4.05×)，而质量
几乎无损——16个”模型×数据集”单元平均只落后完全重算1.71分，在Qwen3.5-35B上甚至反超
0.47分;作为对照，不缓存转移算子的朴素相加直接损失了66.9%的分数，印证了T_C的必要性。
在生产RAG trace上，同1秒TTFT SLO下，HYPIC把可持续QPS相比Prefix Cache提升1.66倍(1.49
×至1.85×)，峰值单卡吞吐提升约1.3至1.5倍。在纯冷未命中路径上，一条32k token请求的
TTFT从单worker的2.83秒降到8worker的0.49秒，达到5.7倍加速，且几乎全部收益来自可近
线性扩展的scatter阶段;面对不均匀分片，LPT相比Round-Robin把TTFT从1.26秒压到0.84秒(
3.6×对2.4×)。开销同样可控:构造(T_C， S(C|0))的一次性开销，在最重的稠密转移模型上
也仅为主前向的5.2%至6.7%，一次构造、多次复用即可摊薄。

HYPIC首次把位置无关缓存带到了混合注意力大模型上:用缓存的段累积转移算子实现线性层
的常数时间状态组合，用小小的缝合窗口修复全注意力层的跨段对齐，再用段并行把长冷请求
变成可加速的负载。它让RAG与Agent这类长上下文服务，在拥抱高效混合架构的同时，也能
享受到片段级缓存复用的红利。团队表示，未来将进一步探索分布式的PIC管理与调度、多级
缓存分层管理，推动大模型推理向更快、更省、更可扩展持续演进。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**小红书 ↗**

小红书（Xiaohongshu）是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户
生成内容（UGC）

❓ 常见问题解答（FAQ）

HYPIC解决了什么问题？

它解决的是混合注意力大模型无法直接使用位置无关缓存（PIC）的问题。传统PIC依赖逐token
KV缓存，而线性注意力层只有循环状态，难以拼接复用。HYPIC通过缓存转移算子、缝合窗口
和段并行，把PIC扩展到这类模型。

HYPIC为什么能降低首token延迟？

因为它把可复用片段的prefill结果拆成可组合的状态，复用时无需整段重算；对全注意力层
则只重算片段开头少量token修复跨段注意力。这样既减少冷请求的串行prefill开销，也降低
了长上下文下的TTFT。

HYPIC的效果有多大？

文章给出的实测结果是：在4个生产级混合注意力模型、5个工作负载上，首token延迟平均降低
3.25倍，同SLO下可持续QPS提升1.66倍，任务质量与完全重算相比仅相差1.71分。

🔬 语宙深潜追问 · 进阶实操拆解

PIC为什么能显著降首token延迟？

因为它把缓存与绝对位置绑定弱化，减少了长上下文下重复计算和位置相关开销。对生产系统
来说，这能更快完成首轮解码，尤其在长输入和高并发场景里，首token延迟会更明显下降。

上线前该怎么验证不伤质量？

先在真实负载上做A/B，对比同SLO下的QPS、首token延迟和任务准确率，再看长短上下文分
桶结果。若质量回退集中在特定任务，通常要回查注意力掩码、缓存命中和位置编码兼容性。

🗳️ 读者观点微投票 · 您的实战立场是？

混合注意力加位置无关缓存，真能救长上下文吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [杨植麟在GTC2026 摊牌：月之暗面把Adam、全注意力和残差连接全换了，而且全部开源](https://paooo.com/aigc-news/32091/)
 * [2800亿MoE仅激活140亿且原生百万长上下文！百度重磅开源文心5.5 Flash Base：首创Latent-Gated稀疏注意力、ECHO序列外推与全基准同尺寸SOTA全景架构深度拆解](https://paooo.com/aigc-news/41611/)
 * [428B 总参+23B 激活！MiniMax 重磅开源 M3.1 Flash：72 小时狂吞百万亿 Token、稀疏注意力与 W4A4 极限能效全景架构深度拆解](https://paooo.com/ai-tool/40307/)
 * [Ling-2.6-flash：蚂蚁百灵打造‘干活’模型，104B参数仅激活7.4B，Token效率碾压同行](https://paooo.com/aigc-news/10830/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/31256/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
