3FS是什么
3FS(Fire-Flyer File System)是DeepSeek推出的高性能分布式文件系统,专为AI训练和推理任务设计。3FS用现代SSD和RDMA网络技术,基于分离式架构聚合数千个SSD的吞吐量和数百个存储节点的网络带宽,提供高达6.6 TiB/s的读取吞吐量。3FS提供强一致性保障,提供通用文件接口,无需学习新的存储API。3FS在大规模数据处理和推理优化中表现出色,在GraySort测试中达到3.66 TiB/min的吞吐量,KVCache读取吞吐量可达40 GiB/s。

3FS的主要功能
- 高性能数据访问:聚合数千个SSD的吞吐量和数百个存储节点的网络带宽,提供高达6.6 TiB/s的读取吞吐量。支持大规模集群中的高吞吐量并行读写,优化AI训练和推理任务中的数据加载效率。
- 强一致性保障:实现链式复制与分配查询(CRAQ)技术,确保数据的强一致性,简化应用开发复杂性。
- 通用文件接口:提供无状态元数据服务,支持事务性键值存储(如FoundationDB),用户无需学习新的存储API。
- 优化AI工作负载:
- 数据准备:高效管理大量中间输出,支持层次化目录结构。
- 数据加载:支持跨计算节点的随机访问,无需预取或数据集洗牌。
- 检查点支持:为大规模训练提供高吞吐量并行检查点功能。
- KVCache:为推理任务提供高吞吐量、大容量的缓存替代方案,优化推理效率。
- 高扩展性和灵活性:支持大规模集群部署,适用于从单节点到数千节点的多样化应用场景。
3FS的技术原理
- 分离式架构:基于计算与存储分离的设计,将存储资源集中管理,用高速网络(如RDMA)实现数据的高效传输。让应用以“位置无关”的方式访问存储资源,简化资源管理。
- 链式复制与分配查询(CRAQ):为实现强一致性,3FS基于CRAQ技术。基于链式复制确保数据在多个副本间的一致性,用分配查询优化读取性能,减少延迟。
- 无状态元数据服务:3FS推出无状态的元数据服务,基于事务性键值存储(如FoundationDB),提高系统的可扩展性,降低元数据管理的复杂性。
- Direct I/O与RDMA优化:基于Direct I/O直接访问SSD,避免使用文件缓存,减少CPU和内存开销,用RDMA技术实现高效的数据传输,进一步提升性能。
- KVCache技术:在推理任务中,基于KVCache缓存关键中间结果,避免重复计算,显著提高推理效率。KVCache结合高吞吐量和大容量的优势,是DRAM缓存的低成本替代方案。
- 数据局部性优化:基于优化数据布局和访问模式,减少数据传输的延迟和带宽消耗,特别是在大规模分布式训练和推理任务中表现出色。
3FS的性能表现
- 大规模读取吞吐量:在由 180 个存储节点组成的集群中,每个存储节点配备 2×200Gbps InfiniBand 网卡和 16 个 14TiB NVMe SSD。大约 500+ 个客户端节点用于读压测,每个客户端节点配置 1x200Gbps InfiniBand 网卡。在训练作业的背景流量下,最终聚合读吞吐达到约 6.6 TiB/s。
- GraySort性能测试:3FS在GraySort基准测试中表现出色。GraySort是大规模数据排序测试,用在衡量分布式系统的数据处理能力。测试集群包括25个存储节点(每个节点2个NUMA域,每个域1个存储服务,2×400Gbps NIC)和50个计算节点(每个节点192个物理核心,2.2 TiB内存,1×200Gbps NIC)。在该测试中,3FS成功完成110.5 TiB数据的排序任务,分布在8192个分区中,耗时仅30分钟14秒,平均吞吐量达到3.66 TiB/min。
- KVCache推理优化:KVCache是3FS为优化LLM(大语言模型)推理过程而设计的缓存技术,基于缓存解码层中的关键向量和值向量,避免重复计算。在KVCache的性能测试中,读取吞吐量峰值达到了40 GiB/s,显著提升推理效率。KVCache的垃圾回收(GC)操作也表现出高IOPS性能,确保缓存的高效管理和更新。

3FS的项目地址
- GitHub仓库:https://github.com/deepseek-ai/3FS
3FS的应用场景
- 大规模AI训练:高效支持海量数据的快速读写,提升训练速度。
- 分布式数据处理:优化数据加载和管理,支持随机访问,无需预取或洗牌。
- 推理优化:通过KVCache缓存中间结果,减少重复计算,提升推理效率。
- 检查点支持:提供高吞吐量的并行检查点功能,保障训练任务的稳定性和可恢复性。
- 多节点计算环境:无缝集成到大规模集群,支持灵活扩展,满足不同规模的AI应用需求。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
❓ 常见问题解答(FAQ)
3FS适合哪些AI场景?
3FS主要面向大规模AI训练、分布式数据处理、推理优化和并行检查点等场景。它支持高吞吐读写、随机访问和KVCache缓存,适合需要高性能存储与大规模集群协同的任务。
3FS为什么能提升训练和推理效率?
3FS通过SSD与RDMA结合的分离式架构、Direct I/O、CRAQ强一致性和无状态元数据服务,减少CPU与内存开销,并提升数据传输与访问效率,从而加速训练和推理流程。
3FS的实测性能有多强?
文中给出的实测结果包括:聚合读取吞吐约6.6 TiB/s,GraySort测试平均吞吐3.66 TiB/min,KVCache读取吞吐峰值40 GiB/s。这些数据体现了其面向AI负载的高性能能力。
🔬 语宙深潜追问 · 进阶实操拆解
3FS的RDMA+SSD架构适合哪些负载?
最适合大规模顺序读、多并发训练集扫描和高频KVCache访问这类AI负载。它的优势在低延迟和高吞吐,但如果是大量小文件随机写、复杂权限或通用NAS场景,未必比成熟方案更省心。
落地3FS最该先做哪些压测?
先测训练集读取、checkpoint恢复、KVCache热读和故障切换四项,再看尾延迟和节点抖动下的稳定性。别只看峰值带宽,真正决定体验的是持续吞吐、恢复时间和多租户隔离能力。
🗳️ 读者观点微投票 · 您的实战立场是?
3FS这类AI存储,真能替代传统分布式文件系统吗?
