---
title: "单集群日处理155万亿Token！DeepSeek重磅开源生产级推理框架DeepInfer：首创PD分离、3FS缓存命中率达96%与SWA常数重算架构全景实测深度拆解"
url: "https://paooo.com/ai-tool/40593/"
author: "Prompt 语宙研究院"
published_at: "2026-11-01T10:06:56+08:00"
updated_at: "2026-11-01T10:06:56+08:00"
categories: "AI 工具"
tags: "3FS分布式缓存, DeepInfer, DeepSeek, PD分离, 推理框架"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# 单集群日处理155万亿Token！DeepSeek重磅开源生产级推理框架DeepInfer：首创PD分离、3FS缓存命中率达96%与SWA常数重算架构全景实测深度拆解

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/ai-tool/40593/) · 作者：Prompt 语宙研究院 · 发布时间：2026-11-01

## AI 30 秒核心看点 (TL;DR)

- PD 分离将 Prefill 与 Decode 物理解耦，分别适配算力密集与带宽受限任务。
- 3FS 分布式前缀缓存命中率达 96%，Prefill 吞吐从 6 万提升至 150 万 tokens/s。
- SWA Bounded Replay 与 DSpark 投机解码协同，显著降低长上下文重算与生成开销。

> **💡 站外导读：**在大模型 Agent 多轮复杂调用与长上下文编程场景下，显存墙（Memory Wall）与 KV Cache 重复计算已成为吞噬企业算力预算的核心元凶。DeepSeek 正式开源其官方大规模商用底座——生产级推理框架 DeepInfer。该框架不仅支持单集群日处理 155 万亿 Token 的超高吞吐，更通过 Prefill/Decode 物理硬件解耦、3FS 分布式前缀缓存、SWA Bounded Replay 常数重算及 DSpark 投机解码四大绝技，将首字延迟压缩至 400ms，为自建大模型服务提供了教科书级的工程落地范式。

图 1：DeepSeek 生产级推理框架 DeepInfer 整体技术架构与集群拓扑

## 一、DeepInfer 破局：从学术 Demo 到日均 155 万亿 Token 的生产级架构

在当前大模型开源生态中，以 vLLM 和 TGI 为代表的推理引擎虽然兼容性极佳，但在超大规模集群以及极其严苛的低延迟、高并发商业场景下，通用的批处理与缓存调度往往难以榨干底层异构算力的极限。

**DeepInfer** 源自对 vLLM 核心机制的深度工业级重构，专为 DeepSeek V4.1 Flash 等最新一代 MoE 架构设计，已在 DeepSeek 官方生产环境中承担核心流量调度。其核心技术亮点包括：

  - **生产验证的高吞吐：**线上单集群日处理量达 **155 万亿 Token**，生成速度稳定在 230~300 tokens/s，首字延迟（TTFT）仅约 400ms。

  - **全栈跨硬件异构兼容：**不仅深度支持英伟达新一代 SM100 GPU，更无缝适配国产华为昇腾 950 NPU，是目前少有的打通国内外两大主流算力生态的生产级框架。

  - **官方生态严格对齐：**配套开源生产级 Token 编解码组件 `deepseek-recipe`，统一 Chat Completions、Responses、Messages 三套接口标准，从分词、防注入到流式输出完全复刻官方线上 API 行为。

## 二、核心硬核技术剖析：四大突破性架构创新

### 1. 算力与带宽解耦：极致的 PD 分离部署架构

传统推理引擎通常将 Prefill（首字预填充）与 Decode（逐字解码）混合运行在同一计算卡上。然而：

  - **Prefill 阶段：**一次性处理成千上万个 Prompt Token，属于典型的**计算密集型（Compute-Bound）**任务，适合算力密度高、Tensor Core 密集的服务器。

  - **Decode 阶段：**受自回归特性限制，每生成一个 Token 都需要完整读取一次巨大的模型权重和 KV Cache，属于典型的**显存带宽受限型（Memory-Bandwidth-Bound）**任务。

DeepInfer 采用物理层面的 **PD 分离部署**：Prefill 阶段部署在常规的高性价比 8 卡服务器上，而 Decode 阶段则部署在 64~128 卡的高速互联超节点（Super-Node）上。线上按约 1:1 的配比协同工作，彻底消除了两类任务相互抢占硬件资源的痛点。

### 2. 96% 命中率神话：基于 3FS 的分布式前缀缓存体系

在 Agent 场景中，每一次工具调用与多轮交互都会附带数百甚至数千 Token 的完整上下文历史。如果每次都重头计算，算力开销将呈指数级浪费。

DeepInfer 构建了一套基于独立 **3FS 分布式存储集群**的前缀缓存体系：

  - 系统以 **128 Token** 为一个存储块，严格自前缀向后匹配，命中历史部分直接零拷贝复用 KV Cache。

  - Prefill 阶段输入缓存命中率高达 **96%**，使得 Prefill 单卡吞吐从无缓存状态下的 6 万 tokens/s 暴增至 **150 万 tokens/s**，效能跃升 25 倍！

  - 针对不同流量实施精细化生命周期管理：Agent 工具流量热缓存保留 3 天，常规对话流量保留 7 天。

### 3. 常数级开销：SWA Bounded Replay 破解长上下文重算难题

V4.1 Flash 在特定网络层采用了滑动窗口注意力机制（Sliding Window Attention, SWA），每个 Token 仅聚焦于最近的 128 个 Token。由于这部分高速局部 Cache 不适合持久化落盘，过去未命中缓存时需要按照“层数 × 窗口长度”进行高昂的精确重算。

DeepInfer 提出了 **SWA Bounded Replay** 机制：巧妙地将重算范围严格收敛至最后的 128 个 Token，使得重算成本与上下文的绝对长度和网络层数彻底解耦，Prefill 阶段总体计算量直接减半，真正做到了长程文本推理的“常数级开销”。

### 4. 自研 DSpark 投机解码与置信度动态调度

为了进一步突破自回归生成的吞吐天花板，DeepInfer 深度集成了自研的 **DSpark 投机解码模块**：

  - **投机猜测与批量验证：**轻量级草稿模型预先推测连续 5 个候选 Token，再交由主力大模型单步批量验证，猜对直接并行采纳，仅在首个错误位由主力模型修正。

  - **置信度感知调度：**内置置信度预测头，若预估后续 Token 采纳概率过低，则提前熔断验证，将 GPU 算力让渡给其他高价值请求，使真实线上生成吞吐再涨 6%。

  - **CPU/GPU 异步流水线：**将第 N+1 步的 CPU 调度逻辑与第 N 步的 GPU 物理张量计算完美重叠，彻底消除了传统架构中 GPU 频繁等待 CPU 下发指令的空转现象。

## 三、DeepInfer vs vLLM 核心工程指标全维度对比

  
    
      
        对比维度
        DeepInfer (DeepSeek)
        vLLM (社区标准)
      

    
    
      
        核心定位
        DeepSeek 模型的极致生产级专用框架
        通用大语言模型多场景服务框架
      

      
        硬件生态支持
        英伟达 SM100 GPU + 华为昇腾 950 NPU
        英伟达全系 + AMD ROCm / Intel / TPU 等
      

      
        底层架构优化
        PD物理分离、3FS缓存池、SWA Bounded Replay、DSpark
        PagedAttention、连续批处理、基础前缀缓存
      

      
        峰值吞吐指标
        单集群日处理 155 万亿 Token，Decode 每卡 14K tokens/s
        主流基准表现，依赖通用策略
      

      
        官方 API 行为对齐
        通过 deepseek-recipe 实现 100% 协议级完美一致
        提供标准 OpenAI 风格兼容接口
      

      
        推荐应用场景
        追求极限吞吐、官方性能的私有化/大规模推理服务
        多模型混部、快速概念验证与轻量级业务服务
      

    
  

## 四、极简上手指南：从环境准备到离线推理实操

DeepInfer 目前以开源 C++/Python 源码形态提供，推荐在纯净的容器或虚拟环境中编译运行：

  - **系统依赖确认：**Linux 操作系统，GCC ≥ 13.0，Python 3.12。NVIDIA 平台需要安装 CUDA 13，华为昇腾平台则需配置 CANN 9.2。

  - **拉取代码仓库：**
    

```
git clone https://github.com/deepseek-ai/DeepInfer.git
cd DeepInfer
```

  

  - **指定硬件加速器并执行编译：**
    

```
# 若使用 NVIDIA GPU
export DEEPINFER_ACCELERATOR=nvidia
# 若使用华为昇腾 NPU
# export DEEPINFER_ACCELERATOR=ascend

./build.sh
```

  

  - **权重加载与离线推理验证：**
    

```
# 指定本地权重路径或允许自动从 Hugging Face 下载
export DEEPINFER_HF_MODEL_DIR="/data/models/DeepSeek-V4.1-Flash-1017"

python examples/offline_inference.py
```

  

## 五、企业级生产落地核心场景

  - **金融与政企自主可控部署：**原生支持华为昇腾 950 NPU，结合本地 3FS 存储集群，在彻底保障核心业务数据不出内网的同时，释放匹敌国际顶尖算力的推理吞吐。

  - **高并发长程 Agent 中台：**96% 的前缀缓存命中率直接破解了复杂 Agent 循环工具调用中重复计算的成本死结，单 Token 综合调用成本显著下降。

  - **超长文档智能解析与代码审查：**SWA Bounded Replay 使得数万行超长代码库的检索与长合同分析不再遭遇 Prefill 显存爆炸，维持首字秒开的极致体验。

  

#### 📝 站长洞察 (Editor's Insight)

  在过去两年里，开源推理框架的竞争往往集中在算子优化与量化压缩层面。而 DeepInfer 的开源标志着大模型工程进入了**“超大规模集群调度与存储解耦”**的新纪元。DeepSeek 将生产线上处理 155 万亿 Token 的真实硬核架构无保留公开，尤其是 PD 分离与 3FS 分布式缓存的工程落地，直接击碎了传统推理服务对显存带宽的过度依赖。对于国内致力于大模型落地与私有化交付的架构师而言，DeepInfer 不仅是一个工具，更是搭建万卡时代高效高可用推理基础设施的标准蓝图。

## 常见问题解答 (FAQ)

### DeepInfer 适合哪些大模型推理场景？
它主要面向 Agent 多轮调用、长上下文编程和高并发商用推理场景，尤其适合对低延迟、高吞吐和缓存复用要求很高的服务。

### DeepInfer 的 PD 分离是什么意思？
PD 分离就是把 Prefill 和 Decode 分开部署：Prefill 放在高性价比 8 卡服务器，Decode 放在 64~128 卡超节点，避免两类任务争抢同一套硬件资源。

### 3FS 前缀缓存为什么能提升这么多？
因为它按 128 Token 分块做前缀匹配，命中后可直接复用 KV Cache，减少重复计算。文中给出的实测是 Prefill 输入缓存命中率 96%，吞吐提升约 25 倍。

## English Executive Summary

**DeepSeek DeepInfer open-sources production inference with PD, 3FS cache, SWA**

DeepSeek has open-sourced DeepInfer, a production-grade inference framework targeting agent multi-turn and long-context workloads. In real tests, a single cluster processes 1.55 quadrillion tokens per day with ~400 ms first-token latency, achieving 96% 3FS distributed prefix-cache hit rate and raising prefill throughput from 60K to 1.5M tokens/s. The system combines PD prefill/decode disaggregation, SWA bounded constant recomputation, and DSpark speculative decoding to reduce long-context recompute and generation costs.

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
