风控系统用 MongoDB 会不会性能更好?采集的数据字段很杂

2024-04-29 21:44:02 +08:00
 drymonfidelia
2118 次点击
所在节点    数据库
13 条回复
raycool
2024-04-30 00:15:55 +08:00
现在用的啥
drymonfidelia
2024-04-30 00:22:12 +08:00
@raycool 现在用的 MySQL ,太卡顿了,而且数据库体积非常大,正在计划重构
jhdxr
2024-04-30 00:31:09 +08:00
直接 ETL ?
jhdxr
2024-04-30 00:31:52 +08:00
打错了,我想说 ELK
Belmode
2024-04-30 01:42:25 +08:00
之前做过类似的,这种系统用 MongoDB 类的数据库,天然合适。不过有点需要主要,需要规划好文档结构和集合规模,还有要考虑索引的 key 。
因为数量达到一定程度,还是会慢,并且数据集合过大,MongoDB 直接无法 count 了。

1 、预估数据规模,设定需要的硬件配置
2 、选择单独分片还是分片分表,决定集群方案
3 、尽可能减少索引数据量,因为 MongoDB 会在 index 时把所有对应的索引完全载入内存,会导致内存占用高
4 、仅作业务分析,避免多文档事务
5 、聚合计算尽可能降低规模,提高查询效率、count 效率。

基本上单集合几亿数据毫无压力
locoz
2024-04-30 01:48:57 +08:00
建议考虑用 ES ,应该会比 MongoDB 更适合
qW7bo2FbzbC0
2024-04-30 09:48:38 +08:00
MongoDB 数据量大了,官方只有逻辑备份的工具,备份挺困难的,一次备份持续好几天。percona 物理备份工具需要使用 percona 分支的 MongoDB 。

elastic 需不需要备份,有物理备份方式吗?
dododada
2024-04-30 10:29:37 +08:00
@qW7bo2FbzbC0 上海机房备份到北京机房?
vczyh
2024-04-30 11:31:05 +08:00
@qW7bo2FbzbC0 直接把 data 目录备份可行不
vczyh
2024-04-30 11:31:39 +08:00
@qW7bo2FbzbC0 MongoDB
qW7bo2FbzbC0
2024-04-30 11:48:07 +08:00
@dododada
@vczyh

不知道,没试过,大哥您可以试试再告诉我们。就是日常备份啊
lenmore
2024-04-30 12:58:30 +08:00
@qW7bo2FbzbC0 我是用 LVM 卷的 snapshot 做物理备份。
vczyh
2024-05-06 09:15:17 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1036882

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX