DeepSeek发布高性能并行文件系统3FS 助力AI数据密集型应用

　　在开源周的第五天，DeepSeek正式发布了3FS(Fire-Flyer File System)，这是一款专为现代SSD和RDMA网络带宽设计的并行文件系统，旨在为深度学习等数据密集型应用提供卓越的性能支持。

　　3FS以其去中心化架构和强一致性语义为核心，在集群高吞吐、基准测试和单节点性能方面表现优异。例如，在180节点集群中，3FS实现了高达6.6 TiB/s的聚合读取吞吐量，在25节点集群的GraySort基准测试中达到了3.66 TiB/min的吞吐量。

　　3FS的应用场景广泛，涵盖AI训练和推理的多个关键环节，包括数据准备、加载、检查点设置和推理缓存。

　　此外，DeepSeek还开源了基于3FS的数据处理框架Smallpond，这款轻量级框架结合DuckDB和3FS的优势，可扩展至PB级数据集，操作简便且无需长期运行服务。