DeepSeek 开源周的 5 号炸弹来啦！又是集束炸弹！3FS 和 smallpond！
我不敢相信DeepSeek甚至颠覆了存储架构… 我上次为网络文件系统震惊还是HDFS和CEPH. 但这些都是面向磁盘的分布式文件系统. 现在一个真正意义上面向现代SSD和RDMA网络的文件系统诞生了！
飞火流星文件系统（3FS）- 一种利用现代 SSD 和 RDMA 网络全带宽的并行文件系统
这个文件系统可以在 180 节点集群中达到6.6 TiB/s 总读取吞吐量，每个客户端节点 KVCache 查找峰值吞吐量 40+ GiB。
另一个 smallpond（小池塘）是基于 3FS 的数据处理框架！
这个框架由 DuckDB 提供的高性能数据处理，可扩展以处理 PB 级数据集！
地址：github.com/deepseek-ai/DualPipe 地址：github.com/deepseek-ai/smallpond
1
我看了下应该还是KV存储的（毕竟面向机器学习），并不是块存储。因此NAS佬还是不太能用得上的。
一致性协议基于CRAQ，毕竟KV存储，基于链式复制的，写操作仍然需要通过整个链，所以写延迟大。但估计其实给训练归档用，写延迟大无所谓。异步归档而已。