虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

上亿对 mysql 来说压力不算大，优化一下库结构，优化一下查询应该就能解决，或者直接加点硬件（加内存和 CPU 或者换更快的 SSD ），钱能解决的都不是问题。

加个 redis 做去重缓存，具体字段随便放哪个数据库

@morost mongo 切到 syscylla 就行了。

kvrocks ，可以说是 redis 硬盘版，速度大概是 redis 的一半左右，如果 nvme 硬盘还有提升空间

@yh7gdiaYW 异构数据迁移方案呢？是否支持平滑迁移？服务替换数据源的过度方案？这些都是要考虑的事情。看楼主的描述，基本可以确定对数据库是不怎么熟悉的，更不要说数据迁移要注意哪些事情了。如果你是非常熟悉各种数据库的，那对你来说当然算不上“方案”，因为你已经有过丰富的经验了，对于楼主来说就是完全陌生的领域，那我在回复楼主的时候指出要注意数据迁移方案，有什么问题呢？我又不是对那种有丰富数据库使用经验的人说的。

@Jinnrry 好强，看来是大企业，我们只是几十人的小公司，自己搭建和使用的而已。

亿级理论上 MySQL 也还好啊，是否是 SSD 硬盘？索引优化
爬虫感觉更适合 MongoDB 这种文档型数据库，随时加个字段页无所谓，MongoDB 建好索引十来亿问题也不大，不过没索引就很慢

我之前公司用的 elasticsearch

@justplaymore 点赞👍

其实 Mysql 也行

谢谢大伙的建议，爬虫这边与数据库这边确实不太熟，半路做的东西，认真听取了各位朋友的建议，现在第一是优化 MySQL 现有的查询吧，其次我会好好去了解大家提出来的其余的方案，斟酌一个最适合的。感慨自己需要学的东西还有很多。

@justplaymore #36 感谢老哥的解答，我们已经在复盘了

@user919lx #43 谢谢！这个建议很实用！我们会把这个链路考虑进去的

mongo 或 es 比较省事

postgresql 自带的分表，逻辑上可以当成一张表用

最后选择了什么，分享一下，让我也学习一下