Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 跨模型推理不再重算Prefill!北大PKU-DAIR开源MapFlow:以64×64稀疏注意力图替代KV Cache,TTFT直降20%且多Agent吞吐提升25%技术深剖
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
北京大学 PKU-DAIR 团队开源跨模型 LLM 推理加速系统 MapFlow 概览
Prompt 语宙 > 强化 AI 学习 > 跨模型推理不再重算Prefill!北大PKU-DAIR开源MapFlow:以64×64稀疏注意力图替代KV Cache,TTFT直降20%且多Agent吞吐提升25%技术深剖
强化 AI 学习

跨模型推理不再重算Prefill!北大PKU-DAIR开源MapFlow:以64×64稀疏注意力图替代KV Cache,TTFT直降20%且多Agent吞吐提升25%技术深剖

Prompt 语宙研究院
最近更新: 2026年11月17日 上午11:05
LLM推理加速 MapFlow PKU-DAIR vLLM 多智能体协作
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • MapFlow用注意力图复用跨模型上下文,绕开KV Cache只能同构复用的限制。
  • 通过部分重计算、头映射与64×64块级Top-p稀疏压缩,实现低显存、可共享的前缀复用。
  • 在多模型路由与多Agent流水线中,TTFT直降15%–20%,吞吐最高提升25%。

💡 站外导读:在当下越来越普遍的多模型路由、级联推理(Cascade)以及“大模型规划 + 小模型执行”的多 Agent 流水线架构中,一个隐蔽却代价极高的性能黑洞长期无解:由于不同尺寸、不同结构的模型之间隐藏维度与层数完全不同,传统前缀缓存依赖的 KV Cache 无法跨模型复用,下游小模型每次接手长上下文都必须从头重算 Prefill。北京大学 PKU-DAIR 团队最新开源的 MapFlow 系统另辟蹊径,以可跨模型迁移的稀疏“注意力图(Attention Map)”替代 KV Cache,成功将首字延迟(TTFT)拉低 15%–20%,多轮路由吞吐最高提升 25%。

北京大学 PKU-DAIR 团队开源跨模型 LLM 推理加速系统 MapFlow 概览

阅读目录
  • 一、 破局多模型交接死穴:为什么放弃 KV Cache,改传“注意力图”?
  • 二、 核心架构深剖:部分重计算、线性映射与 64×64 块级稀疏压缩
  • 三、 工程化集成与实战部署链路:基于 vLLM 与 NVIDIA MPS 协同
  • 四、 四大高频生产场景:多 Agent 流水线每轮直省 0.48–0.73 秒
      • 📝 站长洞察 (Editor’s Insight)

一、 破局多模型交接死穴:为什么放弃 KV Cache,改传“注意力图”?

在大语言模型推理服务中,Prefill 阶段的计算复杂度随输入序列长度呈平方级 $O(L^2)$ 增长。为了消除重复前缀的算力浪费,vLLM 等主流推理引擎普遍采用前缀缓存(Prefix Caching)技术。然而,传统前缀缓存存在一个刚性前提:发送端与接收端必须是完全相同的模型与权重。一旦系统需要在大模型(例如 Qwen3-8B 或 14B 规划节点)与小模型(例如 Qwen3-1.7B 或 3B 总结节点)之间切换,因为隐藏层维度、注意力头数与网络深度强耦合,KV Cache 便彻底失去了跨模型复用价值。

北京大学 PKU-DAIR 团队在 MapFlow(GitHub: PKU-DAIR/MapFlow,论文 arXiv: 2610.14688)中提出了一个极为精妙的核心观察:虽然 KV 向量高度绑定于具体权重,但 Attention Map(注意力图)刻画的是 Token 与 Token 之间的语义依赖结构。只要发送模型与接收模型共享同一套 Tokenizer 并处理相同上下文,这种 Token 级依赖关系在不同规模乃至不同架构模型之间,具有远超隐藏表示的跨模型结构相似性。

二、 核心架构深剖:部分重计算、线性映射与 64×64 块级稀疏压缩

仅仅发现“注意力图可迁移”还远远不够,要在真实的线上生产级推理引擎中落地,团队还必须攻克层数不对齐、精度退化以及 $O(L^2)$ 注意力矩阵显存爆炸三大工程难关。MapFlow 通过以下四层协同机制构建了完整解:

  • 前 $r$ 层部分重计算 + 后缀对齐层映射:实验表明注意力图的可迁移性并非全层一致,接收模型前几层的跨模型拟合误差较高,而中后段层则能被发送模型稳定逼近。因此,MapFlow 让接收模型正常重算前 $r$ 层以建立自身准确的隐藏状态;对于后续复用层,采用后缀对齐映射 $m(j) = j + L_S – L_R$,将接收层精确锚定到发送模型更稳定的深层。
  • Simplex 约束头映射(增量权重不足 0.001%):为解决两款模型注意力头数量与语义分工差异,MapFlow 引入带 Simplex 约束的线性组合权重,将发送端各个注意力头加权混合去逼近接收端对应头,保持概率分布结构。离线校准仅通过接收模型端到端响应损失训练这组微小映射参数,两个大模型参数全程冻结,新增权重占比不到接收模型的 0.001%,一次离线校准即可长期摊薄至所有在线请求。
  • 64×64 块级 Top-p 稀疏压缩(BSR 格式存储):为避免直接缓存稠密 $O(L^2)$ 注意力图撑爆显存,MapFlow 利用注意力分布天然的重尾特性,以 64×64 二维块为单位使用 LogSumExp 计算块重要性分数,按行保留累计概率达到阈值 $p$(短上下文默认 0.7,长上下文可按表调优至 0.85~0.92)的稀疏掩码,仅对保留块精确算分并以 BSR 格式存入连续内存,整个过程不物化稠密大矩阵,在 12K Token 之后显存占用趋于平稳,且发送端压缩一次即可供多个下游模型并发共享。
  • 前缀哈希异步预取 + 融合 GPU 内核:系统通过前缀哈希索引稀疏块,在接收模型计算前 $r$ 层的窗口期内,异步将缓存中的稀疏注意力块取回并与计算流水线重叠,完美掩盖 PCIe/网络传输延迟;同时定制融合 GPU 内核,直接在片上完成跨头线性加权与 Value 乘加运算,彻底绕开稠密中间张量物化。
对比维度 传统重算 / 同构前缀缓存 MapFlow 跨模型注意力图复用系统 核心工程收益
跨模型/跨尺寸复用能力 仅限同模型同权重复用,跨模型交接必须从零重算 Prefill 共享 Tokenizer 即可跨规模、跨架构复用 Token 依赖结构 彻底打通大模型规划 → 小模型细化/总结的上下文算力共享
显存与存储开销 完整稠密注意力矩阵呈 O(L²) 膨胀,无法直接缓存 64×64 块级 Top-p 稀疏压缩 + BSR 连续存储,12K Token 后显存平稳 一份压缩状态可被多个下游接收模型并发读取共享
校准成本与精度控制 微调适配或蒸馏开销大,易破坏原模型基座能力 双模型全程冻结,仅离线训练 <0.001% Simplex 线性权重 + 前 r 层重算 HotpotQA F1 与对话 ROUGE-L 生成质量几乎无损
实测延迟与系统吞吐 多模型路由下长上下文长尾 TTFT 居高不下 TTFT 降低 15%–20%;同 P90 延迟下多轮路由吞吐提升最高 25% 14B→8B→3B 多 Agent 流水线每轮直接节省 0.48–0.73 秒

三、 工程化集成与实战部署链路:基于 vLLM 与 NVIDIA MPS 协同

不同于仅停留在仿真脚本里的学术原型,MapFlow 已经在开源仓库中提供了面向真实推理服务的完整部署链路,基于仓库自带的定制化 vLLM 分支构建。在 Python 3.11 环境下以 editable 模式编译安装集成版 vLLM 与 MapFlow 后,系统通过标准的四步拓扑即可跑通端到端加速验证:

首先通过 nvidia-cuda-mps-control -d 启动 NVIDIA MPS 服务,为发送端、接收端及缓存服务器提供 GPU 共享运行底座;接着拉起缓存服务器负责前缀哈希索引与稀疏块池管理(如指定 Qwen3-8B 至 Qwen3-1.7B 及 top-p=0.7);随后在独立进程分别启动发送端模型(完成 Prefill 并写入压缩注意力图)与加载预校准权重文件的接收端模型,当接收端命中前缀哈希时便自动切换至稀疏复用执行路径,支持对 HotpotQA、Conversation、MultiNews 及 RULER-20K 长上下文基准的自动化评测。

四、 四大高频生产场景:多 Agent 流水线每轮直省 0.48–0.73 秒

随着企业级 AI 架构从“单一超大模型硬扛全流程”走向“大小模型精细化路由与多智能体流水线协作”,MapFlow 所解决的正是未来推理集群最核心的瓶颈。其在四大真实业务场景中具备立竿见影的降本增效价值:

  • 多模型智能路由(Model Routing):系统将复杂推理分配给大参数模型、将常规提取路由给小模型时,小模型接手长达上万 Token 的历史对话无需重新 Prefill,长尾 TTFT 显著收窄。
  • 级联推理(Cascade Inference):无论是大模型先行定调再交由小模型补全,还是小模型试错后升级至大模型接管,模型间交接均可共享既有上下文状态。
  • 多 Agent 协作流水线:例如经典的“14B 模型规划 → 8B 模型细化 → 3B 模型总结”三段式工作流,下游多个节点直接复用上游产出的注意力图,实测每轮协作可稳定节省 0.48–0.73 秒。
  • 数据库与 Text-to-SQL 长前缀助手:需要反复在提示词中携带海量数据库 Schema 与严格业务约束的场景,在跨模型切换查询时直接命中缓存复用,大幅削减算力空耗。

📝 站长洞察 (Editor’s Insight)

过去一年业内谈论多 Agent 协同和大小模型路由时,往往只盯着 API 单价账本,却忽略了一个极其现实的系统工程瓶颈——只要模型尺寸一换,Prefix Cache 瞬间失效,下游小模型接手几万 Token 上下文时还得老老实实重跑一遍 Prefill,算力和首字延迟反而倒挂。北大 PKU-DAIR 团队开源的 MapFlow 非常精准地切中了这个痛点:KV Cache 绑定死在权重空间里迁不动,那就向上抽象一层,去复用同 Tokenizer 下表征 Token 间依赖结构的稀疏 Attention Map。更难能可贵的是,它没有停留在理论公式里,而是给出了基于 vLLM 集成、结合 64×64 BSR 压缩、前 r 层重算与融合 GPU 内核的完整可运行工程方案,新增参数不到千分之一之零点一。对于正在自建 vLLM 多模型调度网关或复杂 Agent 流水线的团队来说,MapFlow 绝对是值得立刻拉取源码测试的高价值底层基础设施组件。

❓ 常见问题解答(FAQ)
MapFlow为什么不能继续用KV Cache?

因为KV Cache强依赖模型的隐藏维度、层数和注意力头配置,只能在同模型同权重间复用。跨到不同尺寸或结构的模型时,缓存无法直接对齐,只能重新做Prefill。

MapFlow的注意力图能解决什么问题?

它把可迁移的Token依赖结构从KV中抽离出来,改用注意力图在不同模型间复用前缀信息。这样在大模型规划、小模型执行的多模型链路里,可以减少重复计算并降低首字延迟。

MapFlow的64×64稀疏压缩有什么作用?

它用块级Top-p稀疏选择和BSR格式存储,避免把完整稠密注意力矩阵物化到显存中。这样能把存储开销压下来,并支持多个下游模型并发共享同一份压缩状态。

🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
ChatGPT 插件:利用图像和跨插件请求伪造技术进行数据泄露 [译]
为忙碌人士准备的大语言模型(LLM)速览 [译]
长故事概要:针对长视频问答的“概括后检索”方法 [译]
CODEFUSION:代码生成领域的创新预训练模型 [译]
借助 NEAT(非运动性活动热量消耗)的方法,不去健身房也能变得更健康 [译]
TAGGED:LLM推理加速MapFlowPKU-DAIRvLLM多智能体协作
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Gemini Notebook 正式上线网站生成功能支持一句话将知识库转化为互动网页 知识库直接变身可交互Web应用!Gemini Notebook上线“一句话生成网站”功能:从静态笔记问答到仪表盘与项目追踪器零代码交付全景解析
下一篇 扎哈流线型沙漠奢华酒店:Midjourney V7 电影级广角透视与流体几何光影质感实战指南 - AI 生图实测样张 [AI生图咒语] 扎哈流线型沙漠奢华酒店:Midjourney V7 电影级广角透视与流体几何光影质感实战指南
Ad image
Ad image

最近更新

NVIDIA发布升级版CUDA-X科学计算库矩阵赋能天体物理、核聚变与空间单细胞科研智能体
黑洞成像从1个月压至8分钟、空间生物计算提速900倍!NVIDIA升级CUDA-X科学计算库矩阵:cuPhoton联合Nemotron智能体实时操盘核聚变全拆解
AIGC 资讯
a16z剖析AI时代网络安全攻防失衡与90年代漏洞狂潮重现封面插图
大模型推理API密钥成黑客新“热钱包”!a16z深度警示:AI引爆90年代式0-day蠕虫潮,企业安全栈如何三大底层重构?
AI 工具
Google-Agent 用户触发型AI智能体流量识别与CDN防火墙放行示意图
别让WAF误杀高意向AI买手!Google发布Google-Agent放行技术指南:Web Bot Auth签名校验、IP名单同步与CDN排障全拆解
强化 AI 学习
Singular ChatGPT Ads付费广告与AI自然回答App归因全链路追踪架构封面图
告别App增量沦为自然流量!Singular详解ChatGPT Ads与AI回答全链路归因:CAPI回传、Web-to-App参数透传与无点击提及监测指南
AI 工具

相关推荐

你唯一需要精通的事情 [译]
强化 AI 学习

你唯一需要精通的事情 [译]

宝玉的分享
AI办公效率 AI智能体 OpenAI 大模型微调
多样本越狱 [译]
强化 AI 学习

多样本越狱 [译]

宝玉的分享
Anthropic Claude Gemini Llama OpenAI
我希望这不会变成一种常态。来源:Todoist https://todoist.com/inspiration/work-life-integration-comic
强化 AI 学习

软件工程中的心理健康问题 [译]

宝玉的分享
AI办公效率 AI智能体 大模型微调
2023 年度 AI 大事记 [译]
强化 AI 学习

2023 年度 AI 大事记 [译]

宝玉的分享
AI智能体 ChatGPT Claude OpenAI 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.