DeepSeek 开源并发布 3FS，高速并行文件系统优化 AI 数据访问
作者: MarsBit 快讯
2025-02-28 09:17:01
据 DeepSeek 公告，在开源周第五天，其 Fire-Flyer 文件系统（3FS）正式开源，作为一款高性能并行文件系统，3FS 可充分利用现代 SSD 和 RDMA 网络，实现高速数据访问，提升 AI 模型训练与推理效率。 3FS关键性能指标： 在 180 节点集群中实现 6.6 TiB/s 总读取吞吐量 在 25 节点 GraySort 基准测试中达到 3.66 TiB/分钟吞吐量 单节点 KVCache 查询峰值吞吐量超 40+ GiB/s 3FS采用分离式架构，支持数据预处理、数据集加载、检查点存储/恢复、嵌入向量搜索及推理 KVCache 查询，具备强一致性语义。DeepSeek 同步推出 Smallpond 数据处理框架，进一步优化 3FS 数据管理能力。
