写了个爬虫，爬了本站的所有帖子、评论和用户信息，简单分析了一下数据。公开数据库，开源

学习 scrapy 写的一个小爬虫

数据都放在了 sqlite 数据库，方便分，整个数据库大小 2.1GB 。

爬虫源码放在了 GitHub ，在 GitHub 我 release 了完整的 sqlite 数据库文件

Github 链接：https://github.com/oldshensheep/v2ex_scrapy

不建议自行运行爬虫，数据已经有了

爬取花了几十小时，因为爬快了会封禁 IP ，并且我也没使用代理池。并发数设置为 3 基本上可以一直爬。

爬取相关数据说明

爬虫从topic_id = 1开始爬，路径为https://yangjunhui.monster/t/{topic_id}。 服务器可能返回 404/403/302/200 ，如果是 404 说明帖子被删除了，如果是 403 说明是爬虫被限制了，302 一般是跳转到登陆页面，有的也是跳转到主页，200 返回正常页面。

爬虫没有登陆，所以爬取的数据不完全，比如水下火热的帖子就没有爬到，还有就是如果是 302 的帖子会记录帖子 id ，404/403 不会记录。

爬取过程中会帖子内容，评论，以及评论的用户信息。

注 1：爬了一半才发现 V 站帖子附言没有爬，附言从topic_id = 448936才会爬取

注 2：select count(*) from member 得到的用户数比较小，大概 20W ，是因为爬取过程中是根据评论，以及发帖信息爬取用户的，如果一个用户注册之后既没有评论也没有发帖，那么这个账号就爬不到。还有就是因为部分帖子访问不了，也可能导致部分账号没有爬。还有部分用户号被删除，这一部分也没有爬。（代码改了，可以爬，但是都已经爬完了……）

注 3：时间均为 UTC+0 的秒数

注 4：数据库除了主键，和唯一索引，没有加其他索引。

统计分析

帖子、评论和用户数量统计

帖子总数：801,038 （ 80 万）
评论总数：10,899,382 （ 1000 万）
用户总数：194,534 （ 20 万）异常原因见爬取相关数据说明的注 2

获得感谢最多的评论

因为部分评论内容较多不方便展示，要查看内容可以点击链接。或者下载数据库使用 SQL 查询，SQL 查询文件也包含在开源文件中

正向投票最多的帖子

点击次数最多的帖子

发送评论最多的用户

发送帖子最多的用户

曲线

需要详细的数据，建议下载数据库

每月新用户数折线图

每月新帖子数折线图

评论数折线图

使用次数最多的节点

使用次数最多的 tag （ tag 为 V2EX 自动生成）

Github 链接：https://github.com/oldshensheep/v2ex_scrapy