海外如何自建 S3?

151 天前
 chanlk
公司的业务需要大量使用对象存储,目前在 AWS 的账单已经超过了 EC2 和流量了。

如果自建 S3 ,需要做哪些准备?(数据必须在美国)

我们公司的运维能力比较弱(我是开发),没有相关人员驻扎在美国,需要尽可能小的降低运维成本。

目前了解到的软件是用 Minio ,其他硬件、机房、宽带等系列问题不太清楚要怎么弄。

PS: AWS 是真贵啊!
3192 次点击
所在节点    服务器
32 条回复
qishua
151 天前
没看明白你的具体需求,是 s3 的费用很贵,还是说你们没用 s3 ,在 aws 上买的 ec2 ,然后自建 minio ,然后访问
qishua
151 天前
要是只想换对象存储的话,推荐换阿里云 or 腾讯云的对象存储,费用差不多比 aws 便宜一半左右
chanlk
151 天前
@qishua #1 用了 s3 ,但还是贵的,我们数据太多了,PB 级的
aru
151 天前
先确定下你们的规模和现在的费用吧

可以换其他家的 s3 服务,可以便宜很多
https://www.backblaze.com/cloud-storage/pricing

自建你得先找个懂的人聊聊,然后招一个全职运维
chanlk
151 天前
@qishua #2 已经有一部分迁移到甲骨文的云上,但还是贵,所以考虑自建了。
qishua
151 天前
完全自建的话,则需要找下国内的供应商,租对应地域的 idc 服务器,这个费用和云厂商对比起来,并不会优惠更多。
你也可以考虑小的云厂商,ucloud 、金山云等等。
qishua
151 天前
@chanlk 那你们需要招个全职 SRE 了,然后根据你们预算,来选择是否两地多活。
自建的话,可以找一些国内做出海业务 IDC 机房的厂商,租用他们的服务器,这样服务器的高可用 or IDC 的容灾管理交予他们了。你们只需要负责好服务器加服务器上面的业务即可。
两地多活,则推荐选择两个不同的 idc 供应商,彼此之间的通信通过专线打通。
chanlk
151 天前
@aru 数据大概在 10PB ,费用大概一年要 100W+的 S3 费用吧(我们公司小哈)。
chanlk
151 天前
@qishua #7 听你这么说感觉这事儿没那么简单
wei2629
151 天前
多少 pb 啊。自建未必便宜,机房机架网络, 硬盘坏了要有人管, 还要备份。还必须专门培养团队,保证 sla 。 或者外包给 idc 的团队啥。最好还是 认真核算下 。
qishua
151 天前
@chanlk 换到 ucloud 或者金山云吧,然后谈下折扣,费用一年应该能降到 30 万-50 万
aggron
151 天前
不要自建,既然海外用户,用 cloudflare 的 R2 ,不收流量费,api 还没 s3 兼容(大部分)
shiny
151 天前
自建 MinIO 吧,可靠性可以靠 replication
humbass
151 天前
op ,要上 cdn ,aws 的 cdn 的叫 cloudfront ,价格只有 s3 的 1/4 - 1/5
chanlk
151 天前
@wei2629 10PB 这样子
chanlk
151 天前
@aggron 存的多,取的少,比例估计 10:1, 1TB 的数据只有 100GB 左右被用户召回
blueswhisper
151 天前
楼主家这预算,多家云厂商比价吧。
100+w 的预算,最多招两个 sre 就没了, 还不算你自建的服务器成本。
不知道你们这个 s3 存储是干嘛的,如果是常见的静态资源场景,那么上 CDN 应该能帮你们挡掉大部分的费用。 写多读少的话,S3 不同等级的存储也用起来,业务上做些优化策略,也能省点钱。
chanlk
151 天前
@blueswhisper 用户的视频数据哈,家用摄像机的。
zsj1029334
151 天前
Ceph 集群,多种支持文件,对象都可以
blueswhisper
151 天前
@chanlk 这种场景的话,你们这就类似于网盘逻辑了。是不是对应服务的定价太低了?或者说定价策略不太合理?

从楼主的预算推测,短期内你们也没有资源投入到底层存储的建设,这部分技术红利需要适当的投入才能吃到,开源确实有很多解决方案,但是要保证可用性,成本,性能都需要资源投入,不是随便找个开源软件部署下就可以的,否则出了问题一群人抓瞎,对你们的服务信誉打击是毁灭性的。那么你们只能从商业策略上,把这部分的成本通过合理的定价转移给用户。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1095571

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX