实验室每季度产生 10TB 的数据,最佳的异地备份方案是什么?

87 天前
 V2April

目前的做法是数据产生后实时同步至群晖,每几个月硬盘会被塞满,然后拷到移动硬盘里。有什么更好的异地备份、本地释放空间的方法吗?实验数据无敏感性,不介意上传至阿里云、腾讯云或 AWS 的云盘里,不需要加密,但怕丢。

7006 次点击
所在节点    NAS
77 条回复
ooh
87 天前
Cloudflare R2 下载不要钱,就问你厉害不厉害
timethinker
87 天前
硬盘应该是最好的选择,云存储是按照容量固定周期扣费的,比如 1 个月 1 毛钱 1G ,那么每个月都要为此付费,你在本地跑的话,其实用云服务既无必要也不划算,而且大多云存储上传下载会有额外的流量成本。
lifanxi
87 天前
买 OSS ,按访问频率选择不同的 bucket 类型以尽可节省费用。如果只是存档,不太会再次访问,可以用归档存储,10TB 一年只要 2700 。
SuzutsukiKaede
87 天前
数据要保存多久?用云服务的话,即使不考虑上传下载的流量成本,这个数据量的存储成本会很高
w568w
87 天前
看你的访问频率:

- 几乎不访问(医疗影像、实验记录)可以考虑 S3 的冰川深度储存类,非常便宜,12 刀/年/TB (但取出数据需要半天时间解冻)

- 非常频繁(模型权重、数据集)就看看阿里云之类的 OSS ,国内节点速度很快

介于两者中间,就依次考虑 Backblaze 、S3 等储存服务吧。
chinanetcoltd
87 天前
买台 LTO 磁带机,磁带很便宜。九代 LTO 磁带可提供 18T 的原生容量和 45T 的压缩容量
stormtrooperx5
87 天前
oss 深度冷归档
evill
87 天前
如果后续使用较少,不存在 ls 问题的话 可以考虑 s3fs
opengps
87 天前
其实大容量机械移动硬盘可靠性很高,多买几块异地邮寄备份可靠性未必低于网盘
xmumiffy
87 天前
腾讯云归档储存 10 元/TB/月
JoeDH
87 天前
阿里云 oss 深度冷归档
hefish
87 天前
肯定是采购几套 EMC ,3PAR ,NetApp, HDS , 或者国产 华为,浪潮,曙光 存储啊。。 要全分布式的那种。。。 多买几套。
xiaoz
87 天前
恰好最近整理了几个比较便宜的对象存储,楼主可以参考: https://x.com/xiaozblog/status/1899419731389829624
privil
87 天前
说存到云上的,得考虑上传带宽吧?
stefsui
87 天前
每个月 3T 多,如果不是商用宽带,普通千兆宽带一般上传至右 100 - 200Mbps 上传,要 2-3 天。

如果只是备份还是磁带靠谱,如果是怕实验室不安全,定期把磁带放另外一个地方就行,也算是灾备了
BeautifulSoap
87 天前
实验室?用经费氪金买磁带机!
R4rvZ6agNVWr56V0
87 天前
10TB 不算多,但是没有交代为啥要异地备份啊。 如果用磁带机或者光盘刻录机,本地就行了啊,还不用担忧带宽、数据交给谁的问题。
nong99
87 天前
我觉得,首先最后再考虑带宽上传的方案。先不说速度如何、耗时多久。就现在运营商针对 pcdn 得搞法,管你什么行为上传。封!降速!当然,除非高额的商业宽带或许宽松一点
realpg
87 天前
买硬盘,然后快递发到某个临市的朋友家里,异地备份
JIUBASHI
87 天前
115 ,1t 也就不到十块,还是长期。一年几百块会员。性价比最佳

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1117663

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX