实验室每季度产生 10TB 的数据,最佳的异地备份方案是什么?

88 天前
 V2April

目前的做法是数据产生后实时同步至群晖,每几个月硬盘会被塞满,然后拷到移动硬盘里。有什么更好的异地备份、本地释放空间的方法吗?实验数据无敏感性,不介意上传至阿里云、腾讯云或 AWS 的云盘里,不需要加密,但怕丢。

7008 次点击
所在节点    NAS
77 条回复
234ygg
88 天前
备份用最便宜的类似 AWS s3 deep archive 的就行,或者阿里云也有类似业务,价格 1TB 每月只要 1 美元,上传流量不要钱,下载流量要钱
234ygg
88 天前
看你要存多久了,需要保存超过 9 个月,那就肯定是自己买硬盘便宜了,硬盘以后不要了还能卖出去。。

云上最便宜的应该就是 s3 deep 这种,无学习成本,s3 可以用网页上传,注意 s3 deep 每个被上传的对象最低按 180 天收费。
update
88 天前
刻光盘
wangtian2020
88 天前
数据看样子是一点儿没压缩
yinmin
88 天前
每季度产生 10TB 的数据,是高压缩率的吧? 弄一个 nas 开启 btrfs 压缩格式的放上去,有惊喜哦
yinmin
88 天前
我们之前的实验数据压缩率超高,基本上 1GB 打包成 rar 只有几十 MB 。你试试每月 rar 打包存储,或者群晖 btrfs 开启压缩功能。
paradoxs
88 天前
"目前的做法是数据产生后实时同步至群晖,每几个月硬盘会被塞满,然后拷到移动硬盘里。"

我不信你有这么多数据。

按照你这个做法,你现在手上应该有几百 T 的数据了,存满的硬盘也有很多。

拍照来看看?
workshop
88 天前
海边买个房,定期往房子里放硬盘
salmon5
88 天前
AWS 都舍得用,我觉得招投标也不是不可以:自建数据中心
qbmiller
88 天前
实验数据 重复太多,压缩还是很可以的
chinni
88 天前
borg 每日备份 会压缩去重的 应该不会有那么多变化的数据。。。
restic 和 kopia 也行
heike8
88 天前
卡车运输最便宜
wangybsyuct
88 天前
太多了,考虑删除没用的数据,压缩,用磁带备份,然后放到另外一个城市,间隔 100 公里以外,这个是异地备份的标准。
MacsedProtoss
88 天前
@nong99 实验室一般是教育网 教育网全是对等上下行的 千兆不在话下 而且没有啥运营商的限制
mayli
88 天前
10T oss 还是最便宜的方案
leonhao
88 天前
硬盘麻烦死了,不考虑成本,老板出钱的话肯定上云啊
oldManNewThought
88 天前
123 盘,买 svip, 几百 tb 容量还是多少有点忘了。但是要注意,这个狗屎网盘对存储数量有限制,上限是 500 万个,如果你们存的数量大就不适合
smdbh
88 天前
感觉大容量硬盘就行了, 加个 usb 硬盘座挺好. 贴标签,放柜子
TellMeWHY
88 天前
115 网盘终身 VIP (搞活动时几千块搞定),5PB 总容量,用商业宽带来上传,一是上传带宽大,二是不容易被 ISP 封
定期把一些有时效性的历史数据上传,清空一批本地硬盘,最新的实验数据还是用本地硬盘来保存。
Busby
88 天前
阿里云、腾讯云 oss 深度冷归档+1
注意如果需要报销的话,阿里云需要学校认证,腾讯云个人认证也可以开学校抬头。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1117663

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX