# 单集群日处理155万亿Token！DeepSeek重磅开源生产级推理框架DeepInfer：首创PD分离、3FS缓存命中率达96%与SWA常数重算架构全景实测深度拆解

- Link: https://paooo.com/ai-tool/40593/
- Published: 2026-11-01T10:06:56+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * PD 分离将 Prefill 与 Decode 物理解耦，分别适配算力密集与带宽受限任务。
 * 3FS 分布式前缀缓存命中率达 96%，Prefill 吞吐从 6 万提升至 150 万 tokens/s。
 * SWA Bounded Replay 与 DSpark 投机解码协同，显著降低长上下文重算与生成开销。

> **💡 站外导读：**在大模型 Agent 多轮复杂调用与长上下文编程场景下，显存墙（Memory
> Wall）与 KV Cache 重复计算已成为吞噬企业算力预算的核心元凶。DeepSeek 正式开源其
> 官方大规模商用底座——生产级推理框架 DeepInfer。该框架不仅支持单集群日处理 155 万
> 亿 Token 的超高吞吐，更通过 Prefill/Decode 物理硬件解耦、3FS 分布式前缀缓存、SWA
> Bounded Replay 常数重算及 DSpark 投机解码四大绝技，将首字延迟压缩至 400ms，为自建
> 大模型服务提供了教科书级的工程落地范式。

![DeepSeek 开源生产级高性能推理框架 DeepInfer 官方架构与集群部署全景图](https://
paooo.com/wp-content/uploads/2026/11/sre-curated-1793498813602-923.avif)

图 1：DeepSeek 生产级推理框架 DeepInfer 整体技术架构与集群拓扑

## 一、DeepInfer 破局：从学术 Demo 到日均 155 万亿 Token 的生产级架构

在当前[大模型](https://paooo.com/ai-study/)开源生态中，以 vLLM 和 TGI 为代表的推理
引擎虽然兼容性极佳，但在超大规模集群以及极其严苛的低延迟、高并发商业场景下，通用
的批处理与缓存调度往往难以榨干底层异构算力的极限。

阅读目录

 * [一、DeepInfer 破局：从学术 Demo 到日均 155 万亿 Token 的生产级架构](https://paooo.com/ai-tool/40593/#%e4%b8%80deepinfer-%e7%a0%b4%e5%b1%80%e4%bb%8e%e5%ad%a6%e6%9c%af-demo-%e5%88%b0%e6%97%a5%e5%9d%87-155-%e4%b8%87%e4%ba%bf-token-%e7%9a%84%e7%94%9f%e4%ba%a7%e7%ba%a7%e6%9e%b6%e6%9e%84)
 * [二、核心硬核技术剖析：四大突破性架构创新](https://paooo.com/ai-tool/40593/#%e4%ba%8c%e6%a0%b8%e5%bf%83%e7%a1%ac%e6%a0%b8%e6%8a%80%e6%9c%af%e5%89%96%e6%9e%90%e5%9b%9b%e5%a4%a7%e7%aa%81%e7%a0%b4%e6%80%a7%e6%9e%b6%e6%9e%84%e5%88%9b%e6%96%b0)
    - [1. 算力与带宽解耦：极致的 PD 分离部署架构](https://paooo.com/ai-tool/40593/#1-%e7%ae%97%e5%8a%9b%e4%b8%8e%e5%b8%a6%e5%ae%bd%e8%a7%a3%e8%80%a6%e6%9e%81%e8%87%b4%e7%9a%84-pd-%e5%88%86%e7%a6%bb%e9%83%a8%e7%bd%b2%e6%9e%b6%e6%9e%84)
    - [2. 96% 命中率神话：基于 3FS 的分布式前缀缓存体系](https://paooo.com/ai-tool/40593/#2-96-%e5%91%bd%e4%b8%ad%e7%8e%87%e7%a5%9e%e8%af%9d%e5%9f%ba%e4%ba%8e-3fs-%e7%9a%84%e5%88%86%e5%b8%83%e5%bc%8f%e5%89%8d%e7%bc%80%e7%bc%93%e5%ad%98%e4%bd%93%e7%b3%bb)
    - [3. 常数级开销：SWA Bounded Replay 破解长上下文重算难题](https://paooo.com/ai-tool/40593/#3-%e5%b8%b8%e6%95%b0%e7%ba%a7%e5%bc%80%e9%94%80swa-bounded-replay-%e7%a0%b4%e8%a7%a3%e9%95%bf%e4%b8%8a%e4%b8%8b%e6%96%87%e9%87%8d%e7%ae%97%e9%9a%be%e9%a2%98)
    - [4. 自研 DSpark 投机解码与置信度动态调度](https://paooo.com/ai-tool/40593/#4-%e8%87%aa%e7%a0%94-dspark-%e6%8a%95%e6%9c%ba%e8%a7%a3%e7%a0%81%e4%b8%8e%e7%bd%ae%e4%bf%a1%e5%ba%a6%e5%8a%a8%e6%80%81%e8%b0%83%e5%ba%a6)
 * [三、DeepInfer vs vLLM 核心工程指标全维度对比](https://paooo.com/ai-tool/40593/#%e4%b8%89deepinfer-vs-vllm-%e6%a0%b8%e5%bf%83%e5%b7%a5%e7%a8%8b%e6%8c%87%e6%a0%87%e5%85%a8%e7%bb%b4%e5%ba%a6%e5%af%b9%e6%af%94)
 * [四、极简上手指南：从环境准备到离线推理实操](https://paooo.com/ai-tool/40593/#%e5%9b%9b%e6%9e%81%e7%ae%80%e4%b8%8a%e6%89%8b%e6%8c%87%e5%8d%97%e4%bb%8e%e7%8e%af%e5%a2%83%e5%87%86%e5%a4%87%e5%88%b0%e7%a6%bb%e7%ba%bf%e6%8e%a8%e7%90%86%e5%ae%9e%e6%93%8d)
 * [五、企业级生产落地核心场景](https://paooo.com/ai-tool/40593/#%e4%ba%94%e4%bc%81%e4%b8%9a%e7%ba%a7%e7%94%9f%e4%ba%a7%e8%90%bd%e5%9c%b0%e6%a0%b8%e5%bf%83%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/ai-tool/40593/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

**DeepInfer** 源自对 vLLM 核心机制的深度工业级重构，专为 [DeepSeek](https://paooo.com/?s=DeepSeek)
V4.1 Flash 等最新一代 MoE 架构设计，已在 DeepSeek 官方生产环境中承担核心流量调度。
其核心技术亮点包括：

 * **生产验证的高吞吐：**线上单集群日处理量达 **155 万亿 Token**，生成速度稳定在
   230~300 tokens/s，首字延迟（TTFT）仅约 400ms。
 * **全栈跨硬件异构兼容：**不仅深度支持英伟达新一代 SM100 GPU，更无缝适配国产华为
   昇腾 950 NPU，是目前少有的打通国内外两大主流算力生态的生产级框架。
 * **官方生态严格对齐：**配套开源生产级 Token 编解码组件 `deepseek-recipe`，统一
   Chat Completions、Responses、Messages 三套接口标准，从分词、防注入到流式输出完全
   复刻官方线上 API 行为。

## 二、核心硬核技术剖析：四大突破性架构创新

### 1. 算力与带宽解耦：极致的 PD 分离部署架构

传统推理引擎通常将 Prefill（首字预填充）与 Decode（逐字解码）混合运行在同一计算卡
上。然而：

 * **Prefill 阶段：**一次性处理成千上万个 Prompt Token，属于典型的**计算密集型（
   Compute-Bound）**任务，适合算力密度高、Tensor Core 密集的服务器。
 * **Decode 阶段：**受自回归特性限制，每生成一个 Token 都需要完整读取一次巨大的模型
   权重和 KV Cache，属于典型的**显存带宽受限型（Memory-Bandwidth-Bound）**任务。

DeepInfer 采用物理层面的 **PD 分离部署**：Prefill 阶段部署在常规的高性价比 8 卡服务
器上，而 Decode 阶段则部署在 64~128 卡的高速互联超节点（Super-Node）上。线上按约
1:1 的配比协同工作，彻底消除了两类任务相互抢占硬件资源的痛点。

### 2. 96% 命中率神话：基于 3FS 的分布式前缀缓存体系

在 [Agent](https://paooo.com/trends/) 场景中，每一次工具调用与多轮交互都会附带数百
甚至数千 Token 的完整上下文历史。如果每次都重头计算，算力开销将呈指数级浪费。

DeepInfer 构建了一套基于独立 **3FS 分布式存储集群**的前缀缓存体系：

 * 系统以 **128 Token** 为一个存储块，严格自前缀向后匹配，命中历史部分直接零拷贝
   复用 KV Cache。
 * Prefill 阶段输入缓存命中率高达 **96%**，使得 Prefill 单卡吞吐从无缓存状态下的
   6 万 tokens/s 暴增至 **150 万 tokens/s**，效能跃升 25 倍！
 * 针对不同流量实施精细化生命周期管理：Agent 工具流量热缓存保留 3 天，常规对话流量
   保留 7 天。

### 3. 常数级开销：SWA Bounded Replay 破解长上下文重算难题

V4.1 Flash 在特定网络层采用了滑动窗口注意力机制（Sliding Window Attention, SWA），
每个 Token 仅聚焦于最近的 128 个 Token。由于这部分高速局部 Cache 不适合持久化落盘，
过去未命中缓存时需要按照“层数 × 窗口长度”进行高昂的精确重算。

DeepInfer 提出了 **SWA Bounded Replay** 机制：巧妙地将重算范围严格收敛至最后的 128
个 Token，使得重算成本与上下文的绝对长度和网络层数彻底解耦，Prefill 阶段总体计算
量直接减半，真正做到了长程文本推理的“常数级开销”。

### 4. 自研 DSpark 投机解码与置信度动态调度

为了进一步突破自回归生成的吞吐天花板，DeepInfer 深度集成了自研的 **DSpark 投机解码
模块**：

 * **投机猜测与批量验证：**轻量级草稿模型预先推测连续 5 个候选 Token，再交由主力
   大模型单步批量验证，猜对直接并行采纳，仅在首个错误位由主力模型修正。
 * **置信度感知调度：**内置置信度预测头，若预估后续 Token 采纳概率过低，则提前熔
   断验证，将 GPU 算力让渡给其他高价值请求，使真实线上生成吞吐再涨 6%。
 * **CPU/GPU 异步流水线：**将第 N+1 步的 CPU 调度逻辑与第 N 步的 GPU 物理张量计算
   完美重叠，彻底消除了传统架构中 GPU 频繁等待 CPU 下发指令的空转现象。

## 三、DeepInfer vs vLLM 核心工程指标全维度对比

  |  对比维度 |  DeepInfer (DeepSeek) |  vLLM (社区标准) |  
   |  核心定位 |  DeepSeek 模型的极致生产级专用框架 |  通用大语言模型多场景服务框架 |  
 |  硬件生态支持 |  英伟达 SM100 GPU + 华为昇腾 950 NPU |  英伟达全系 + AMD ROCm / Intel / TPU 等 |  
 |  底层架构优化 |  PD物理分离、3FS缓存池、SWA Bounded Replay、DSpark |  PagedAttention、连续批处理、基础前缀缓存 |  
 |  峰值吞吐指标 |  单集群日处理 155 万亿 Token，Decode 每卡 14K tokens/s |  主流基准表现，依赖通用策略 |  
 |  官方 API 行为对齐 |  通过 deepseek-recipe 实现 100% 协议级完美一致 |  提供标准 OpenAI 风格兼容接口 |  
 |  推荐应用场景 |  追求极限吞吐、官方性能的私有化/大规模推理服务 |  多模型混部、快速概念验证与轻量级业务服务 |

## 四、极简上手指南：从环境准备到离线推理实操

DeepInfer 目前以开源 C++/Python 源码形态提供，推荐在纯净的容器或虚拟环境中编译运行：

 1. **系统依赖确认：**Linux 操作系统，GCC ≥ 13.0，Python 3.12。NVIDIA 平台需要安装 
    CUDA 13，华为昇腾平台则需配置 CANN 9.2。
 2. **拉取代码仓库：**
 3.     ```bash
        git clone https://github.com/deepseek-ai/DeepInfer.git
        cd DeepInfer
        ```
    
 4. **指定硬件加速器并执行编译：**
 5.     ```bash
        # 若使用 NVIDIA GPU
        export DEEPINFER_ACCELERATOR=nvidia
        # 若使用华为昇腾 NPU
        # export DEEPINFER_ACCELERATOR=ascend
    
        ./build.sh
        ```
    
 6. **权重加载与离线推理验证：**
 7.     ```python
        # 指定本地权重路径或允许自动从 Hugging Face 下载
        export DEEPINFER_HF_MODEL_DIR="/data/models/DeepSeek-V4.1-Flash-1017"
    
        python examples/offline_inference.py
        ```
    

## 五、企业级生产落地核心场景

 * **金融与政企自主可控部署：**原生支持华为昇腾 950 NPU，结合本地 3FS 存储集群，
   在彻底保障核心业务数据不出内网的同时，释放匹敌国际顶尖算力的推理吞吐。
 * **高并发长程 Agent 中台：**96% 的前缀缓存命中率直接破解了复杂 Agent 循环工具调
   用中重复计算的成本死结，单 Token 综合调用成本显著下降。
 * **超长文档智能解析与代码审查：**SWA Bounded Replay 使得数万行超长代码库的检索
   与长合同分析不再遭遇 Prefill 显存爆炸，维持首字秒开的极致体验。

#### 📝 站长洞察 (Editor’s Insight)

在过去两年里，开源推理框架的竞争往往集中在算子优化与量化压缩层面。而 DeepInfer 的
开源标志着大模型工程进入了**“超大规模集群调度与存储解耦”**的新纪元。DeepSeek 将生产
线上处理 155 万亿 Token 的真实硬核架构无保留公开，尤其是 PD 分离与 3FS 分布式缓存
的工程落地，直接击碎了传统推理服务对显存带宽的过度依赖。对于国内致力于大模型落地
与私有化交付的架构师而言，DeepInfer 不仅是一个工具，更是搭建万卡时代高效高可用推理
基础设施的标准蓝图。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

❓ 常见问题解答（FAQ）

DeepInfer 适合哪些大模型推理场景？

它主要面向 Agent 多轮调用、长上下文编程和高并发商用推理场景，尤其适合对低延迟、高
吞吐和缓存复用要求很高的服务。

DeepInfer 的 PD 分离是什么意思？

PD 分离就是把 Prefill 和 Decode 分开部署：Prefill 放在高性价比 8 卡服务器，Decode
放在 64~128 卡超节点，避免两类任务争抢同一套硬件资源。

3FS 前缀缓存为什么能提升这么多？

因为它按 128 Token 分块做前缀匹配，命中后可直接复用 KV Cache，减少重复计算。文中
给出的实测是 Prefill 输入缓存命中率 96%，吞吐提升约 25 倍。

🔬 语宙深潜追问 · 进阶实操拆解

PD 分离最适合哪些推理场景？

最适合长上下文、多轮对话和高并发 Agent。把预填充和解码拆开后，可以分别优化吞吐与
延迟，避免长 prompt 把短请求整体拖慢。

3FS 缓存和 SWA 常数重算怎么配合？

3FS 负责复用前缀和热点上下文，SWA 则把长序列计算压成更稳定的常数级开销。两者结合
后，既能提升命中率，也能降低长对话的重复计算成本。

🗳️ 读者观点微投票 · 您的实战立场是？

155万亿Token 推理框架，真能改写部署范式吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [打破算力吞吐与调度瓶颈！DeepSeek 正式开源内部推理框架 DeepInfer：集成 SWA 机制、推测解码与双轨硬件适配全景深度解析](https://paooo.com/aigc-news/40355/)
 * [把大模型推理成本打穿！DeepSeek 全面开源内部推理引擎 DeepInfer：集成分布式推测解码与华为昇腾原生适配，揭秘超大规模集群降本关键层](https://paooo.com/aigc-news/40220/)
 * [10500 张 GB300 跑满 1 亿次 Rollout！Reflection AI 开源 501B 巨兽 Beam：每 Token 仅激活 23B，以 1/4 推理算力战平 GLM-5.2 与百万上下文实测](https://paooo.com/aigc-news/40161/)
 * [Profiling Data – DeepSeek开源训练和推理框架的性能分析数据](https://paooo.com/aigc-news/21518/)

🌐 English Executive Summary — DeepSeek DeepInfer open-sources production inference
with PD, 3FS cache, SWA

DeepSeek has open-sourced DeepInfer, a production-grade inference framework targeting
agent multi-turn and long-context workloads. In real tests, a single cluster processes
1.55 quadrillion tokens per day with ~400 ms first-token latency, achieving 96% 
3FS distributed prefix-cache hit rate and raising prefill throughput from 60K to
1.5M tokens/s. The system combines PD prefill/decode disaggregation, SWA bounded
constant recomputation, and DSpark speculative decoding to reduce long-context recompute
and generation costs.

 * PD disaggregation decouples prefill (compute-heavy) from decode (bandwidth-sensitive)
   for better resource fit.
 * 3FS distributed prefix caching delivers 96% hit rate and boosts prefill throughput
   to 1.5M tokens/s.
 * SWA bounded replay plus DSpark speculative decoding lowers long-context recomputation
   and improves end-to-end latency/throughput.

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/ai-tool/40593/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
