---
title: "3FS – DeepSeek开源的高性能分布式文件系统"
url: "https://paooo.com/aigc-news/21488/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T14:10:13+08:00"
updated_at: "2026-06-08T14:10:13+08:00"
categories: "AIGC 资讯"
tags: "AI办公效率, AI智能体, DeepSeek, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# 3FS – DeepSeek开源的高性能分布式文件系统

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/21488/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 3FS以分离式架构聚合数千SSD与数百节点带宽，面向AI训练/推理提供6.6 TiB/s级读取能力。
- 通过CRAQ强一致性、无状态元数据服务与Direct I/O+RDMA，兼顾性能、扩展性与通用文件接口。
- 实测表现亮眼：GraySort达3.66 TiB/min，KVCache读取峰值40 GiB/s，适合大规模训练与推理优化。

## 3FS是什么

3FS（Fire-Flyer File System）是[DeepSeek](https://ai-bot.cn/sites/6130.html)推出的高性能分布式文件系统，专为AI训练和推理任务设计。3FS用现代SSD和RDMA网络技术，基于分离式架构聚合数千个SSD的吞吐量和数百个存储节点的网络带宽，提供高达6.6 TiB/s的读取吞吐量。3FS提供强一致性保障，提供通用文件接口，无需学习新的存储API。3FS在大规模数据处理和推理优化中表现出色，在GraySort测试中达到3.66 TiB/min的吞吐量，KVCache读取吞吐量可达40 GiB/s。

## 3FS的主要功能

- **高性能数据访问**：聚合数千个SSD的吞吐量和数百个存储节点的网络带宽，提供高达6.6 TiB/s的读取吞吐量。支持大规模集群中的高吞吐量并行读写，优化AI训练和推理任务中的数据加载效率。

- **强一致性保障**：实现链式复制与分配查询（CRAQ）技术，确保数据的强一致性，简化应用开发复杂性。

- **通用文件接口**：提供无状态元数据服务，支持事务性键值存储（如FoundationDB），用户无需学习新的存储API。

- **优化AI工作负载**：

**数据准备**：高效管理大量中间输出，支持层次化目录结构。

- **数据加载**：支持跨计算节点的随机访问，无需预取或数据集洗牌。

- **检查点支持**：为大规模训练提供高吞吐量并行检查点功能。

- **KVCache**：为推理任务提供高吞吐量、大容量的缓存替代方案，优化推理效率。

- **高扩展性和灵活性**：支持大规模集群部署，适用于从单节点到数千节点的多样化应用场景。

## 3FS的技术原理

- **分离式架构**：基于计算与存储分离的设计，将存储资源集中管理，用高速网络（如RDMA）实现数据的高效传输。让应用以“位置无关”的方式访问存储资源，简化资源管理。

- **链式复制与分配查询（CRAQ）**：为实现强一致性，3FS基于CRAQ技术。基于链式复制确保数据在多个副本间的一致性，用分配查询优化读取性能，减少延迟。

- **无状态元数据服务**：3FS推出无状态的元数据服务，基于事务性键值存储（如FoundationDB），提高系统的可扩展性，降低元数据管理的复杂性。

- **Direct I/O与RDMA优化**：基于Direct I/O直接访问SSD，避免使用文件缓存，减少CPU和内存开销，用RDMA技术实现高效的数据传输，进一步提升性能。

- **KVCache技术**：在推理任务中，基于KVCache缓存关键中间结果，避免重复计算，显著提高推理效率。KVCache结合高吞吐量和大容量的优势，是DRAM缓存的低成本替代方案。

- **数据局部性优化**：基于优化数据布局和访问模式，减少数据传输的延迟和带宽消耗，特别是在大规模分布式训练和推理任务中表现出色。

## 3FS的性能表现

- **大规模读取吞吐量**：在由 180 个存储节点组成的集群中，每个存储节点配备 2×200Gbps InfiniBand 网卡和 16 个 14TiB NVMe SSD。大约 500+ 个客户端节点用于读压测，每个客户端节点配置 1x200Gbps InfiniBand 网卡。在训练作业的背景流量下，最终聚合读吞吐达到约 6.6 TiB/s。

- **GraySort性能测试**：3FS在GraySort基准测试中表现出色。GraySort是大规模数据排序测试，用在衡量分布式系统的数据处理能力。测试集群包括25个存储节点（每个节点2个NUMA域，每个域1个存储服务，2×400Gbps NIC）和50个计算节点（每个节点192个物理核心，2.2 TiB内存，1×200Gbps NIC）。在该测试中，3FS成功完成110.5 TiB数据的排序任务，分布在8192个分区中，耗时仅30分钟14秒，平均吞吐量达到3.66 TiB/min。

- **KVCache推理优化**：KVCache是3FS为优化LLM（大语言模型）推理过程而设计的缓存技术，基于缓存解码层中的关键向量和值向量，避免重复计算。在KVCache的性能测试中，读取吞吐量峰值达到了40 GiB/s，显著提升推理效率。KVCache的垃圾回收（GC）操作也表现出高IOPS性能，确保缓存的高效管理和更新。

## 3FS的项目地址

- **GitHub仓库**：[https://github.com/deepseek-ai/3FS](https://github.com/deepseek-ai/3FS)

## 3FS的应用场景

- **大规模AI训练**：高效支持海量数据的快速读写，提升训练速度。

- **分布式数据处理**：优化数据加载和管理，支持随机访问，无需预取或洗牌。

- **推理优化**：通过KVCache缓存中间结果，减少重复计算，提升推理效率。

- **检查点支持**：提供高吞吐量的并行检查点功能，保障训练任务的稳定性和可恢复性。

- **多节点计算环境**：无缝集成到大规模集群，支持灵活扩展，满足不同规模的AI应用需求。

## 常见问题解答 (FAQ)

### 3FS适合哪些AI场景？
3FS主要面向大规模AI训练、分布式数据处理、推理优化和并行检查点等场景。它支持高吞吐读写、随机访问和KVCache缓存，适合需要高性能存储与大规模集群协同的任务。

### 3FS为什么能提升训练和推理效率？
3FS通过SSD与RDMA结合的分离式架构、Direct I/O、CRAQ强一致性和无状态元数据服务，减少CPU与内存开销，并提升数据传输与访问效率，从而加速训练和推理流程。

### 3FS的实测性能有多强？
文中给出的实测结果包括：聚合读取吞吐约6.6 TiB/s，GraySort测试平均吞吐3.66 TiB/min，KVCache读取吞吐峰值40 GiB/s。这些数据体现了其面向AI负载的高性能能力。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
