机械硬盘架设静态服务器，支持千万级小文件存储&高并发，有没有开源的解决方案？

2020-03-11 09:04:14 +08:00
 kisshere

关键字：机械盘、千万级、高并发

同时满足这三个条件可能很苛刻，机械盘对于大量小文件(1Mb 左右)高并发简直是噩梦，但 ssd 做静态服务器有点奢侈，这方面有没有开源的存储解决方案？

9595 次点击
所在节点    程序员
64 条回复
kejxp1993
2020-03-12 11:48:59 +08:00
按照 lz 单个文件 1m，千万个文件才 10t，所以最直接的办法，买几个廉价 ssd，最简单效果也最好，成本也比捣鼓服务器集群便宜。。
kejxp1993
2020-03-12 11:54:27 +08:00
如果文件读取有明显的热点的话，可以考虑大量机械硬盘加部分 ssd 缓存的方案。
gongxun0928
2020-03-13 09:14:13 +08:00
@kennylam777 seaweed 是玩具？ 前两年在前司，seaweed 大概存储了几百亿的小文件，总的存储也有十多 p。 总体来说，比较稳定，0.76 版本。
gongxun0928
2020-03-13 09:23:19 +08:00
如果你对存储不是很熟悉，且不是强 posix 接口(open/read/wrtie)访问需求，譬如机器学习场景，需要 readdir 遍历的场景； seaweed 完美满足你的需求，且相对稳定。 ceph 这个东西庞大且不好维护，大部分人解决 ceph 出现问题的能力堪忧，举个例子，对新手来说，ceph 的 CRUSH 算法，在扩容的时候的不确定性，新手估计会踩坑(不平衡或者 io 被打满)。 当然如果你们有超过 3 个运维人员专职负责 ceph,你可以选择 ceph，毕竟大而全，ceph fs, ceph block,

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/651740

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX