Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 3FS – DeepSeek开源的高性能分布式文件系统
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
3FS – DeepSeek开源的高性能分布式文件系统
Prompt 语宙 > AIGC 资讯 > 3FS – DeepSeek开源的高性能分布式文件系统
AIGC 资讯

3FS – DeepSeek开源的高性能分布式文件系统

Prompt 语宙研究院
最近更新: 2026年6月8日 下午2:10
AI办公效率 AI智能体 DeepSeek 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 3FS以分离式架构聚合数千SSD与数百节点带宽,面向AI训练/推理提供6.6 TiB/s级读取能力。
  • 通过CRAQ强一致性、无状态元数据服务与Direct I/O+RDMA,兼顾性能、扩展性与通用文件接口。
  • 实测表现亮眼:GraySort达3.66 TiB/min,KVCache读取峰值40 GiB/s,适合大规模训练与推理优化。

3FS是什么

3FS(Fire-Flyer File System)是DeepSeek推出的高性能分布式文件系统,专为AI训练和推理任务设计。3FS用现代SSD和RDMA网络技术,基于分离式架构聚合数千个SSD的吞吐量和数百个存储节点的网络带宽,提供高达6.6 TiB/s的读取吞吐量。3FS提供强一致性保障,提供通用文件接口,无需学习新的存储API。3FS在大规模数据处理和推理优化中表现出色,在GraySort测试中达到3.66 TiB/min的吞吐量,KVCache读取吞吐量可达40 GiB/s。

阅读目录
  • 3FS是什么
  • 3FS的主要功能
  • 3FS的技术原理
  • 3FS的性能表现
  • 3FS的项目地址
  • 3FS的应用场景

3FS

3FS的主要功能

  • 高性能数据访问:聚合数千个SSD的吞吐量和数百个存储节点的网络带宽,提供高达6.6 TiB/s的读取吞吐量。支持大规模集群中的高吞吐量并行读写,优化AI训练和推理任务中的数据加载效率。
  • 强一致性保障:实现链式复制与分配查询(CRAQ)技术,确保数据的强一致性,简化应用开发复杂性。
  • 通用文件接口:提供无状态元数据服务,支持事务性键值存储(如FoundationDB),用户无需学习新的存储API。
  • 优化AI工作负载:
    • 数据准备:高效管理大量中间输出,支持层次化目录结构。
    • 数据加载:支持跨计算节点的随机访问,无需预取或数据集洗牌。
    • 检查点支持:为大规模训练提供高吞吐量并行检查点功能。
    • KVCache:为推理任务提供高吞吐量、大容量的缓存替代方案,优化推理效率。
  • 高扩展性和灵活性:支持大规模集群部署,适用于从单节点到数千节点的多样化应用场景。

3FS的技术原理

  • 分离式架构:基于计算与存储分离的设计,将存储资源集中管理,用高速网络(如RDMA)实现数据的高效传输。让应用以“位置无关”的方式访问存储资源,简化资源管理。
  • 链式复制与分配查询(CRAQ):为实现强一致性,3FS基于CRAQ技术。基于链式复制确保数据在多个副本间的一致性,用分配查询优化读取性能,减少延迟。
  • 无状态元数据服务:3FS推出无状态的元数据服务,基于事务性键值存储(如FoundationDB),提高系统的可扩展性,降低元数据管理的复杂性。
  • Direct I/O与RDMA优化:基于Direct I/O直接访问SSD,避免使用文件缓存,减少CPU和内存开销,用RDMA技术实现高效的数据传输,进一步提升性能。
  • KVCache技术:在推理任务中,基于KVCache缓存关键中间结果,避免重复计算,显著提高推理效率。KVCache结合高吞吐量和大容量的优势,是DRAM缓存的低成本替代方案。
  • 数据局部性优化:基于优化数据布局和访问模式,减少数据传输的延迟和带宽消耗,特别是在大规模分布式训练和推理任务中表现出色。

3FS的性能表现

  • 大规模读取吞吐量:在由 180 个存储节点组成的集群中,每个存储节点配备 2×200Gbps InfiniBand 网卡和 16 个 14TiB NVMe SSD。大约 500+ 个客户端节点用于读压测,每个客户端节点配置 1x200Gbps InfiniBand 网卡。在训练作业的背景流量下,最终聚合读吞吐达到约 6.6 TiB/s。
  • GraySort性能测试:3FS在GraySort基准测试中表现出色。GraySort是大规模数据排序测试,用在衡量分布式系统的数据处理能力。测试集群包括25个存储节点(每个节点2个NUMA域,每个域1个存储服务,2×400Gbps NIC)和50个计算节点(每个节点192个物理核心,2.2 TiB内存,1×200Gbps NIC)。在该测试中,3FS成功完成110.5 TiB数据的排序任务,分布在8192个分区中,耗时仅30分钟14秒,平均吞吐量达到3.66 TiB/min。
  • KVCache推理优化:KVCache是3FS为优化LLM(大语言模型)推理过程而设计的缓存技术,基于缓存解码层中的关键向量和值向量,避免重复计算。在KVCache的性能测试中,读取吞吐量峰值达到了40 GiB/s,显著提升推理效率。KVCache的垃圾回收(GC)操作也表现出高IOPS性能,确保缓存的高效管理和更新。

3FS

3FS的项目地址

  • GitHub仓库:https://github.com/deepseek-ai/3FS

3FS的应用场景

  • 大规模AI训练:高效支持海量数据的快速读写,提升训练速度。
  • 分布式数据处理:优化数据加载和管理,支持随机访问,无需预取或洗牌。
  • 推理优化:通过KVCache缓存中间结果,减少重复计算,提升推理效率。
  • 检查点支持:提供高吞吐量的并行检查点功能,保障训练任务的稳定性和可恢复性。
  • 多节点计算环境:无缝集成到大规模集群,支持灵活扩展,满足不同规模的AI应用需求。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
DeepSeek ↗
DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界级推理能力的 A
❓ 常见问题解答(FAQ)
3FS适合哪些AI场景?

3FS主要面向大规模AI训练、分布式数据处理、推理优化和并行检查点等场景。它支持高吞吐读写、随机访问和KVCache缓存,适合需要高性能存储与大规模集群协同的任务。

3FS为什么能提升训练和推理效率?

3FS通过SSD与RDMA结合的分离式架构、Direct I/O、CRAQ强一致性和无状态元数据服务,减少CPU与内存开销,并提升数据传输与访问效率,从而加速训练和推理流程。

3FS的实测性能有多强?

文中给出的实测结果包括:聚合读取吞吐约6.6 TiB/s,GraySort测试平均吞吐3.66 TiB/min,KVCache读取吞吐峰值40 GiB/s。这些数据体现了其面向AI负载的高性能能力。

🔬 语宙深潜追问 · 进阶实操拆解
3FS的RDMA+SSD架构适合哪些负载?

最适合大规模顺序读、多并发训练集扫描和高频KVCache访问这类AI负载。它的优势在低延迟和高吞吐,但如果是大量小文件随机写、复杂权限或通用NAS场景,未必比成熟方案更省心。

落地3FS最该先做哪些压测?

先测训练集读取、checkpoint恢复、KVCache热读和故障切换四项,再看尾延迟和节点抖动下的稳定性。别只看峰值带宽,真正决定体验的是持续吞吐、恢复时间和多租户隔离能力。

🗳️ 读者观点微投票 · 您的实战立场是?
3FS这类AI存储,真能替代传统分布式文件系统吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Smallpond – DeepSeek开源的轻量级数据处理框架
  • FastDeploy 2.0深度解析:百度发布2-bit量化技术,单卡部署千亿参数大模型,推理性能飙升
  • 单集群日处理155万亿Token!DeepSeek重磅开源生产级推理框架DeepInfer:首创PD分离、3FS缓存命中率达96%与SWA常数重算架构全景实测深度拆解
  • 谷歌Gemini 3 Deep Think发布:ARC-AGI-2达84.6%,专用推理模型如何重塑科研与工程?
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
QwQ-32B – 阿里通义千问开源的最新推理模型
R1-Omni – 阿里通义开源的全模态大语言模型
Remove.bg
AgentScope 2.0 – 通义实验室开源的多智能体开发框架
Zen Browser:开源AI浏览器评测:垂直标签页+深度定制,重塑你的多任务工作流
TAGGED:AI办公效率AI智能体DeepSeek开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 顾全全确认离职字节Seed团队,曾主导SeedFold与Seed2.0训练体系建设 顾全全确认离职字节Seed团队,曾主导SeedFold与Seed2.0训练体系建设
下一篇 反超美国!中国AI大模型周调用量创新高,包揽全球前四 反超美国!中国AI大模型周调用量创新高,包揽全球前四
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

Lightpanda:颠覆Chrome!开源AI浏览器,内存仅1/16,速度飙升9倍
AI 工具AIGC 资讯

Lightpanda:颠覆Chrome!开源AI浏览器,内存仅1/16,速度飙升9倍

Prompt 语宙研究院
AI Agent Lightpanda Playwright 开源浏览器 自动化框架
阿里开源Logics-Parsing:基于Qwen2.5的端到端文档解析模型,PDF转HTML一步到位
AI 工具AIGC 资讯

阿里开源Logics-Parsing:基于Qwen2.5的端到端文档解析模型,PDF转HTML一步到位

Prompt 语宙研究院
AIGC HuggingFace PDF转HTML 大模型微调 开源大模型 文档解析 通义千问 阿里巴巴
华中科技×金山办公发布MonkeyOCR:解析精度飙升15%,每秒0.84页,专治公式表格难题的文档AI神器
AI 工具AIGC 资讯

华中科技×金山办公发布MonkeyOCR:解析精度飙升15%,每秒0.84页,专治公式表格难题的文档AI神器

Prompt 语宙研究院
AIGC MonkeyOCR 华中科技大学 文档解析模型 金山办公
1.4 基础篇 - AI Canvas 画板编辑介绍
AI 绘画教程

1.4 基础篇 – AI Canvas 画板编辑介绍

lilizhu
AI办公效率 AI绘画提示词 stable diffusion 大模型微调
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.