# 3FS – DeepSeek开源的高性能分布式文件系统

- Link: https://paooo.com/aigc-news/21488/
- Published: 2026-06-08T14:10:13+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 3FS以分离式架构聚合数千SSD与数百节点带宽，面向AI训练/推理提供6.6 TiB/s级读取能力。
 * 通过CRAQ强一致性、无状态元数据服务与Direct I/O+RDMA，兼顾性能、扩展性与通用文件
   接口。
 * 实测表现亮眼：GraySort达3.66 TiB/min，KVCache读取峰值40 GiB/s，适合大规模训练
   与推理优化。

## 3FS是什么

3FS（Fire-Flyer File System）是[DeepSeek](https://ai-bot.cn/sites/6130.html)推出
的高性能分布式文件系统，专为AI训练和推理任务设计。3FS用现代SSD和RDMA网络技术，基于
分离式架构聚合数千个SSD的吞吐量和数百个存储节点的网络带宽，提供高达6.6 TiB/s的读
取吞吐量。3FS提供强一致性保障，提供通用文件接口，无需学习新的存储API。3FS在大规模
数据处理和推理优化中表现出色，在GraySort测试中达到3.66 TiB/min的吞吐量，KVCache读
取吞吐量可达40 GiB/s。

阅读目录

 * [3FS是什么](https://paooo.com/aigc-news/21488/#3fs%e6%98%af%e4%bb%80%e4%b9%88)
 * [3FS的主要功能](https://paooo.com/aigc-news/21488/#3fs%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [3FS的技术原理](https://paooo.com/aigc-news/21488/#3fs%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [3FS的性能表现](https://paooo.com/aigc-news/21488/#3fs%e7%9a%84%e6%80%a7%e8%83%bd%e8%a1%a8%e7%8e%b0)
 * [3FS的项目地址](https://paooo.com/aigc-news/21488/#3fs%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [3FS的应用场景](https://paooo.com/aigc-news/21488/#3fs%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![3FS](https://paooo.com/wp-content/uploads/2026/06/3FS-website4-1.avif)

## 3FS的主要功能

 * **高性能数据访问**：聚合数千个SSD的吞吐量和数百个存储节点的网络带宽，提供高达
   6.6 TiB/s的读取吞吐量。支持大规模集群中的高吞吐量并行读写，优化AI训练和推理任务
   中的数据加载效率。
 * **强一致性保障**：实现链式复制与分配查询（CRAQ）技术，确保数据的强一致性，简化
   应用开发复杂性。
 * **通用文件接口**：提供无状态元数据服务，支持事务性键值存储（如FoundationDB），
   用户无需学习新的存储API。
 * **优化AI工作负载**：
    - **数据准备**：高效管理大量中间输出，支持层次化目录结构。
    - **数据加载**：支持跨计算节点的随机访问，无需预取或数据集洗牌。
    - **检查点支持**：为大规模训练提供高吞吐量并行检查点功能。
    - **KVCache**：为推理任务提供高吞吐量、大容量的缓存替代方案，优化推理效率。
 * **高扩展性和灵活性**：支持大规模集群部署，适用于从单节点到数千节点的多样化应用
   场景。

## 3FS的技术原理

 * **分离式架构**：基于计算与存储分离的设计，将存储资源集中管理，用高速网络（如RDMA）
   实现数据的高效传输。让应用以“位置无关”的方式访问存储资源，简化资源管理。
 * **链式复制与分配查询（CRAQ）**：为实现强一致性，3FS基于CRAQ技术。基于链式复制
   确保数据在多个副本间的一致性，用分配查询优化读取性能，减少延迟。
 * **无状态元数据服务**：3FS推出无状态的元数据服务，基于事务性键值存储（如FoundationDB），
   提高系统的可扩展性，降低元数据管理的复杂性。
 * **Direct I/O与RDMA优化**：基于Direct I/O直接访问SSD，避免使用文件缓存，减少CPU
   和内存开销，用RDMA技术实现高效的数据传输，进一步提升性能。
 * **KVCache技术**：在推理任务中，基于KVCache缓存关键中间结果，避免重复计算，显著
   提高推理效率。KVCache结合高吞吐量和大容量的优势，是DRAM缓存的低成本替代方案。
 * **数据局部性优化**：基于优化数据布局和访问模式，减少数据传输的延迟和带宽消耗，
   特别是在大规模分布式训练和推理任务中表现出色。

## 3FS的性能表现

 * **大规模读取吞吐量**：在由 180 个存储节点组成的集群中，每个存储节点配备 2×200Gbps
   InfiniBand 网卡和 16 个 14TiB NVMe SSD。大约 500+ 个客户端节点用于读压测，每个
   客户端节点配置 1x200Gbps InfiniBand 网卡。在训练作业的背景流量下，最终聚合读吞吐
   达到约 6.6 TiB/s。
 * **GraySort性能测试**：3FS在GraySort基准测试中表现出色。GraySort是大规模数据排序
   测试，用在衡量分布式系统的数据处理能力。测试集群包括25个存储节点（每个节点2个
   NUMA域，每个域1个存储服务，2×400Gbps NIC）和50个计算节点（每个节点192个物理核心，
   2.2 TiB内存，1×200Gbps NIC）。在该测试中，3FS成功完成110.5 TiB数据的排序任务，
   分布在8192个分区中，耗时仅30分钟14秒，平均吞吐量达到3.66 TiB/min。
 * **KVCache推理优化**：KVCache是3FS为优化LLM（大语言模型）推理过程而设计的缓存技术，
   基于缓存解码层中的关键向量和值向量，避免重复计算。在KVCache的性能测试中，读取
   吞吐量峰值达到了40 GiB/s，显著提升推理效率。KVCache的垃圾回收（GC）操作也表现
   出高IOPS性能，确保缓存的高效管理和更新。

![3FS](https://paooo.com/wp-content/uploads/2026/06/3FS-website3.avif)

## 3FS的项目地址

 * **GitHub仓库**：[https://github.com/deepseek-ai/3FS](https://github.com/deepseek-ai/3FS)

## 3FS的应用场景

 * **大规模AI训练**：高效支持海量数据的快速读写，提升训练速度。
 * **分布式数据处理**：优化数据加载和管理，支持随机访问，无需预取或洗牌。
 * **推理优化**：通过KVCache缓存中间结果，减少重复计算，提升推理效率。
 * **检查点支持**：提供高吞吐量的并行检查点功能，保障训练任务的稳定性和可恢复性。
 * **多节点计算环境**：无缝集成到大规模集群，支持灵活扩展，满足不同规模的AI应用需求。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

❓ 常见问题解答（FAQ）

3FS适合哪些AI场景？

3FS主要面向大规模AI训练、分布式数据处理、推理优化和并行检查点等场景。它支持高吞吐
读写、随机访问和KVCache缓存，适合需要高性能存储与大规模集群协同的任务。

3FS为什么能提升训练和推理效率？

3FS通过SSD与RDMA结合的分离式架构、Direct I/O、CRAQ强一致性和无状态元数据服务，减少
CPU与内存开销，并提升数据传输与访问效率，从而加速训练和推理流程。

3FS的实测性能有多强？

文中给出的实测结果包括：聚合读取吞吐约6.6 TiB/s，GraySort测试平均吞吐3.66 TiB/min，
KVCache读取吞吐峰值40 GiB/s。这些数据体现了其面向AI负载的高性能能力。

🔬 语宙深潜追问 · 进阶实操拆解

3FS的RDMA+SSD架构适合哪些负载？

最适合大规模顺序读、多并发训练集扫描和高频KVCache访问这类AI负载。它的优势在低延迟
和高吞吐，但如果是大量小文件随机写、复杂权限或通用NAS场景，未必比成熟方案更省心。

落地3FS最该先做哪些压测？

先测训练集读取、checkpoint恢复、KVCache热读和故障切换四项，再看尾延迟和节点抖动下
的稳定性。别只看峰值带宽，真正决定体验的是持续吞吐、恢复时间和多租户隔离能力。

🗳️ 读者观点微投票 · 您的实战立场是？

3FS这类AI存储，真能替代传统分布式文件系统吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Smallpond – DeepSeek开源的轻量级数据处理框架](https://paooo.com/aigc-news/21481/)
 * [FastDeploy 2.0深度解析：百度发布2-bit量化技术，单卡部署千亿参数大模型，推理性能飙升](https://paooo.com/aigc-news/14254/)
 * [单集群日处理155万亿Token！DeepSeek重磅开源生产级推理框架DeepInfer：首创PD分离、3FS缓存命中率达96%与SWA常数重算架构全景实测深度拆解](https://paooo.com/ai-tool/40593/)
 * [谷歌Gemini 3 Deep Think发布：ARC-AGI-2达84.6%，专用推理模型如何重塑科研与工程？](https://paooo.com/aigc-news/11578/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21488/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
