Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 单集群日处理155万亿Token!DeepSeek重磅开源生产级推理框架DeepInfer:首创PD分离、3FS缓存命中率达96%与SWA常数重算架构全景实测深度拆解
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
DeepSeek 开源生产级高性能推理框架 DeepInfer 官方架构与集群部署全景图
Prompt 语宙 > AI 工具 > 单集群日处理155万亿Token!DeepSeek重磅开源生产级推理框架DeepInfer:首创PD分离、3FS缓存命中率达96%与SWA常数重算架构全景实测深度拆解
AI 工具

单集群日处理155万亿Token!DeepSeek重磅开源生产级推理框架DeepInfer:首创PD分离、3FS缓存命中率达96%与SWA常数重算架构全景实测深度拆解

Prompt 语宙研究院
最近更新: 2026年11月1日 上午10:06
3FS分布式缓存 DeepInfer DeepSeek PD分离 推理框架
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • PD 分离将 Prefill 与 Decode 物理解耦,分别适配算力密集与带宽受限任务。
  • 3FS 分布式前缀缓存命中率达 96%,Prefill 吞吐从 6 万提升至 150 万 tokens/s。
  • SWA Bounded Replay 与 DSpark 投机解码协同,显著降低长上下文重算与生成开销。

💡 站外导读:在大模型 Agent 多轮复杂调用与长上下文编程场景下,显存墙(Memory Wall)与 KV Cache 重复计算已成为吞噬企业算力预算的核心元凶。DeepSeek 正式开源其官方大规模商用底座——生产级推理框架 DeepInfer。该框架不仅支持单集群日处理 155 万亿 Token 的超高吞吐,更通过 Prefill/Decode 物理硬件解耦、3FS 分布式前缀缓存、SWA Bounded Replay 常数重算及 DSpark 投机解码四大绝技,将首字延迟压缩至 400ms,为自建大模型服务提供了教科书级的工程落地范式。

DeepSeek 开源生产级高性能推理框架 DeepInfer 官方架构与集群部署全景图
图 1:DeepSeek 生产级推理框架 DeepInfer 整体技术架构与集群拓扑

一、DeepInfer 破局:从学术 Demo 到日均 155 万亿 Token 的生产级架构

在当前大模型开源生态中,以 vLLM 和 TGI 为代表的推理引擎虽然兼容性极佳,但在超大规模集群以及极其严苛的低延迟、高并发商业场景下,通用的批处理与缓存调度往往难以榨干底层异构算力的极限。

阅读目录
  • 一、DeepInfer 破局:从学术 Demo 到日均 155 万亿 Token 的生产级架构
  • 二、核心硬核技术剖析:四大突破性架构创新
    • 1. 算力与带宽解耦:极致的 PD 分离部署架构
    • 2. 96% 命中率神话:基于 3FS 的分布式前缀缓存体系
    • 3. 常数级开销:SWA Bounded Replay 破解长上下文重算难题
    • 4. 自研 DSpark 投机解码与置信度动态调度
  • 三、DeepInfer vs vLLM 核心工程指标全维度对比
  • 四、极简上手指南:从环境准备到离线推理实操
  • 五、企业级生产落地核心场景
      • 📝 站长洞察 (Editor’s Insight)

DeepInfer 源自对 vLLM 核心机制的深度工业级重构,专为 DeepSeek V4.1 Flash 等最新一代 MoE 架构设计,已在 DeepSeek 官方生产环境中承担核心流量调度。其核心技术亮点包括:

  • 生产验证的高吞吐:线上单集群日处理量达 155 万亿 Token,生成速度稳定在 230~300 tokens/s,首字延迟(TTFT)仅约 400ms。
  • 全栈跨硬件异构兼容:不仅深度支持英伟达新一代 SM100 GPU,更无缝适配国产华为昇腾 950 NPU,是目前少有的打通国内外两大主流算力生态的生产级框架。
  • 官方生态严格对齐:配套开源生产级 Token 编解码组件 deepseek-recipe,统一 Chat Completions、Responses、Messages 三套接口标准,从分词、防注入到流式输出完全复刻官方线上 API 行为。

二、核心硬核技术剖析:四大突破性架构创新

1. 算力与带宽解耦:极致的 PD 分离部署架构

传统推理引擎通常将 Prefill(首字预填充)与 Decode(逐字解码)混合运行在同一计算卡上。然而:

  • Prefill 阶段:一次性处理成千上万个 Prompt Token,属于典型的计算密集型(Compute-Bound)任务,适合算力密度高、Tensor Core 密集的服务器。
  • Decode 阶段:受自回归特性限制,每生成一个 Token 都需要完整读取一次巨大的模型权重和 KV Cache,属于典型的显存带宽受限型(Memory-Bandwidth-Bound)任务。

DeepInfer 采用物理层面的 PD 分离部署:Prefill 阶段部署在常规的高性价比 8 卡服务器上,而 Decode 阶段则部署在 64~128 卡的高速互联超节点(Super-Node)上。线上按约 1:1 的配比协同工作,彻底消除了两类任务相互抢占硬件资源的痛点。

2. 96% 命中率神话:基于 3FS 的分布式前缀缓存体系

在 Agent 场景中,每一次工具调用与多轮交互都会附带数百甚至数千 Token 的完整上下文历史。如果每次都重头计算,算力开销将呈指数级浪费。

DeepInfer 构建了一套基于独立 3FS 分布式存储集群的前缀缓存体系:

  • 系统以 128 Token 为一个存储块,严格自前缀向后匹配,命中历史部分直接零拷贝复用 KV Cache。
  • Prefill 阶段输入缓存命中率高达 96%,使得 Prefill 单卡吞吐从无缓存状态下的 6 万 tokens/s 暴增至 150 万 tokens/s,效能跃升 25 倍!
  • 针对不同流量实施精细化生命周期管理:Agent 工具流量热缓存保留 3 天,常规对话流量保留 7 天。

3. 常数级开销:SWA Bounded Replay 破解长上下文重算难题

V4.1 Flash 在特定网络层采用了滑动窗口注意力机制(Sliding Window Attention, SWA),每个 Token 仅聚焦于最近的 128 个 Token。由于这部分高速局部 Cache 不适合持久化落盘,过去未命中缓存时需要按照“层数 × 窗口长度”进行高昂的精确重算。

DeepInfer 提出了 SWA Bounded Replay 机制:巧妙地将重算范围严格收敛至最后的 128 个 Token,使得重算成本与上下文的绝对长度和网络层数彻底解耦,Prefill 阶段总体计算量直接减半,真正做到了长程文本推理的“常数级开销”。

4. 自研 DSpark 投机解码与置信度动态调度

为了进一步突破自回归生成的吞吐天花板,DeepInfer 深度集成了自研的 DSpark 投机解码模块:

  • 投机猜测与批量验证:轻量级草稿模型预先推测连续 5 个候选 Token,再交由主力大模型单步批量验证,猜对直接并行采纳,仅在首个错误位由主力模型修正。
  • 置信度感知调度:内置置信度预测头,若预估后续 Token 采纳概率过低,则提前熔断验证,将 GPU 算力让渡给其他高价值请求,使真实线上生成吞吐再涨 6%。
  • CPU/GPU 异步流水线:将第 N+1 步的 CPU 调度逻辑与第 N 步的 GPU 物理张量计算完美重叠,彻底消除了传统架构中 GPU 频繁等待 CPU 下发指令的空转现象。

三、DeepInfer vs vLLM 核心工程指标全维度对比

对比维度 DeepInfer (DeepSeek) vLLM (社区标准)
核心定位 DeepSeek 模型的极致生产级专用框架 通用大语言模型多场景服务框架
硬件生态支持 英伟达 SM100 GPU + 华为昇腾 950 NPU 英伟达全系 + AMD ROCm / Intel / TPU 等
底层架构优化 PD物理分离、3FS缓存池、SWA Bounded Replay、DSpark PagedAttention、连续批处理、基础前缀缓存
峰值吞吐指标 单集群日处理 155 万亿 Token,Decode 每卡 14K tokens/s 主流基准表现,依赖通用策略
官方 API 行为对齐 通过 deepseek-recipe 实现 100% 协议级完美一致 提供标准 OpenAI 风格兼容接口
推荐应用场景 追求极限吞吐、官方性能的私有化/大规模推理服务 多模型混部、快速概念验证与轻量级业务服务

四、极简上手指南:从环境准备到离线推理实操

DeepInfer 目前以开源 C++/Python 源码形态提供,推荐在纯净的容器或虚拟环境中编译运行:

  1. 系统依赖确认:Linux 操作系统,GCC ≥ 13.0,Python 3.12。NVIDIA 平台需要安装 CUDA 13,华为昇腾平台则需配置 CANN 9.2。
  2. 拉取代码仓库:
    git clone https://github.com/deepseek-ai/DeepInfer.git
    cd DeepInfer
  3. 指定硬件加速器并执行编译:
    # 若使用 NVIDIA GPU
    export DEEPINFER_ACCELERATOR=nvidia
    # 若使用华为昇腾 NPU
    # export DEEPINFER_ACCELERATOR=ascend
    
    ./build.sh
  4. 权重加载与离线推理验证:
    # 指定本地权重路径或允许自动从 Hugging Face 下载
    export DEEPINFER_HF_MODEL_DIR="/data/models/DeepSeek-V4.1-Flash-1017"
    
    python examples/offline_inference.py

五、企业级生产落地核心场景

  • 金融与政企自主可控部署:原生支持华为昇腾 950 NPU,结合本地 3FS 存储集群,在彻底保障核心业务数据不出内网的同时,释放匹敌国际顶尖算力的推理吞吐。
  • 高并发长程 Agent 中台:96% 的前缀缓存命中率直接破解了复杂 Agent 循环工具调用中重复计算的成本死结,单 Token 综合调用成本显著下降。
  • 超长文档智能解析与代码审查:SWA Bounded Replay 使得数万行超长代码库的检索与长合同分析不再遭遇 Prefill 显存爆炸,维持首字秒开的极致体验。

📝 站长洞察 (Editor’s Insight)

在过去两年里,开源推理框架的竞争往往集中在算子优化与量化压缩层面。而 DeepInfer 的开源标志着大模型工程进入了“超大规模集群调度与存储解耦”的新纪元。DeepSeek 将生产线上处理 155 万亿 Token 的真实硬核架构无保留公开,尤其是 PD 分离与 3FS 分布式缓存的工程落地,直接击碎了传统推理服务对显存带宽的过度依赖。对于国内致力于大模型落地与私有化交付的架构师而言,DeepInfer 不仅是一个工具,更是搭建万卡时代高效高可用推理基础设施的标准蓝图。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
DeepSeek ↗
DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界级推理能力的 A
❓ 常见问题解答(FAQ)
DeepInfer 适合哪些大模型推理场景?

它主要面向 Agent 多轮调用、长上下文编程和高并发商用推理场景,尤其适合对低延迟、高吞吐和缓存复用要求很高的服务。

DeepInfer 的 PD 分离是什么意思?

PD 分离就是把 Prefill 和 Decode 分开部署:Prefill 放在高性价比 8 卡服务器,Decode 放在 64~128 卡超节点,避免两类任务争抢同一套硬件资源。

3FS 前缀缓存为什么能提升这么多?

因为它按 128 Token 分块做前缀匹配,命中后可直接复用 KV Cache,减少重复计算。文中给出的实测是 Prefill 输入缓存命中率 96%,吞吐提升约 25 倍。

🔬 语宙深潜追问 · 进阶实操拆解
PD 分离最适合哪些推理场景?

最适合长上下文、多轮对话和高并发 Agent。把预填充和解码拆开后,可以分别优化吞吐与延迟,避免长 prompt 把短请求整体拖慢。

3FS 缓存和 SWA 常数重算怎么配合?

3FS 负责复用前缀和热点上下文,SWA 则把长序列计算压成更稳定的常数级开销。两者结合后,既能提升命中率,也能降低长对话的重复计算成本。

🗳️ 读者观点微投票 · 您的实战立场是?
155万亿Token 推理框架,真能改写部署范式吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 打破算力吞吐与调度瓶颈!DeepSeek 正式开源内部推理框架 DeepInfer:集成 SWA 机制、推测解码与双轨硬件适配全景深度解析
  • 把大模型推理成本打穿!DeepSeek 全面开源内部推理引擎 DeepInfer:集成分布式推测解码与华为昇腾原生适配,揭秘超大规模集群降本关键层
  • 10500 张 GB300 跑满 1 亿次 Rollout!Reflection AI 开源 501B 巨兽 Beam:每 Token 仅激活 23B,以 1/4 推理算力战平 GLM-5.2 与百万上下文实测
  • Profiling Data – DeepSeek开源训练和推理框架的性能分析数据
🌐 English Executive Summary — DeepSeek DeepInfer open-sources production inference with PD, 3FS cache, SWA

DeepSeek has open-sourced DeepInfer, a production-grade inference framework targeting agent multi-turn and long-context workloads. In real tests, a single cluster processes 1.55 quadrillion tokens per day with ~400 ms first-token latency, achieving 96% 3FS distributed prefix-cache hit rate and raising prefill throughput from 60K to 1.5M tokens/s. The system combines PD prefill/decode disaggregation, SWA bounded constant recomputation, and DSpark speculative decoding to reduce long-context recompute and generation costs.

  • PD disaggregation decouples prefill (compute-heavy) from decode (bandwidth-sensitive) for better resource fit.
  • 3FS distributed prefix caching delivers 96% hit rate and boosts prefill throughput to 1.5M tokens/s.
  • SWA bounded replay plus DSpark speculative decoding lowers long-context recomputation and improves end-to-end latency/throughput.
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
陈天桥团队重磅开源EverMemOS:AI长期记忆操作系统,让AI像人脑一样记忆
微软Live Interpreter API深度解析:76种语言实时语音翻译,重新定义跨语言沟通
HoppyCopy
Magic Studio
Hugging Face重磅开源FineVision视觉语言数据集:1700万图像+8900万轮对话,AI模型性能飙升20%
TAGGED:3FS分布式缓存DeepInferDeepSeekPD分离推理框架
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 网易有道开源低延迟真流式语音大模型 R2T2 架构与落子无悔机制全景实测 终结字幕闪烁与Voice Agent误执行!网易有道开源真流式语音大模型R2T2:首创落子无悔Append-Only机制、200ms极致延迟与多后端端侧部署全景实战
下一篇 火山引擎 Seedance 2.5 4K 视频生成模型官网展示与大荧幕级画质评测 大荧幕级质感与10-bit色彩!火山引擎重磅发布Seedance 2.5 4K视频生成模型:首创Draft样片试错工作流与影视级文戏微表情全景实测拆解
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

腾讯电脑管家Mac版重磅发布!首创AI安全沙箱,一文看懂如何守护AI智能体
AI 工具AIGC 资讯

腾讯电脑管家Mac版重磅发布!首创AI安全沙箱,一文看懂如何守护AI智能体

Prompt 语宙研究院
AI安全沙箱 AI智能体 Mac安全防护 Prompt攻击 腾讯电脑管家
Pretext website
AI 工具AIGC 资讯

告别 DOM 重排卡顿!Pretext:纯算术多行文本动态测量与高性能虚拟滚动布局引擎深度解析

Prompt 语宙研究院
AI生成UI Cheng Lou 前端性能优化 文本布局 虚拟滚动
Writier AI写作
AI 工具

Writier AI写作

remaker
AI办公效率 AI智能体 OpenAI
Writero
AI 工具

Writero

remaker
AI办公效率 AI智能体
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.