图片爬虫 laosj(老司机)，支持分布式，可以自定义下载并发量

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3072 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近在做鉴黄方面的东西，自己写了个图片爬虫爬点图。

功能不算强大，但是非常轻量好用，临时需要爬些数据是极好的。

有现成的示例，编译完可用。

第 1 条附言 · 2017-02-13 14:43:18 +08:00

新加内容:
aiss-darwin 根据接口下载爱丝图片(依赖 redis 作为 url 队列)
jav 获取番号列表及根据番号获取种子文件 (无依赖)
haixiuzu.go 豆瓣害羞组图片抓取和下载(依赖 redis 作为 url 队列)

第 2 条附言 · 2017-09-21 13:48:04 +08:00

5 条回复 • 2017-02-13 14:43:25 +08:00

ofblyt

2016-12-08 08:20:09 +08:00

能说一下怎么支持分布式的么？

spice630

2016-12-08 10:58:21 +08:00

@ofblyt
redis, 采集 url 放入 redis ，下载器从 redis 取 url 。

spice630

2016-12-08 11:00:35 +08:00

@ofblyt
分布式爬取的话，目前并没有很好地支持（因为自己目前还用不上），需要自己写任务分发。

spice630

2016-12-08 11:01:14 +08:00

@ofblyt 多机部署 /运行是没问题的。

spice630

2017-02-13 14:43:25 +08:00