Python 爬虫 请教能实现我的这两点吗?

2020-06-13 10:04:13 +08:00
 leihongjiang

因为自己需要浏览很多的页面,工作量太大,也找不到合适类似的软件. 所以自己想写两个爬虫

1:根据需要的网站 爬取到标题和 url 根据自己的需求浏览 2:设置关键词 搜索 全部抓取数据 然后设置爬虫判断是否展示

如果 Python 小白 开始学习的话.需要多长的时间可以.

4375 次点击
所在节点    程序员
43 条回复
myCupOfTea
2020-06-14 21:42:05 +08:00
@xingshu1990 主要 scrapy 还有个 shell,可以很方便新手测试
xingshu1990
2020-06-15 09:06:10 +08:00
@myCupOfTea 楼主要是会看文档就能上手 scrapy，就不会过来问问题了。
如果不考虑 linux 还是 windown，当然是 anaconda 就好了，如果是 windown，还要看是 7 还是 10 以及里面的关联库的版本，windown 经常是不能正确安装 pypiwin32 或者 ssl 版本有问题，或者是 lxml 安装报错之类的问题，对于初学者来说学习成本会很大。
myCupOfTea
2020-06-15 10:02:05 +08:00
@xingshu1990 俺有次没用 anaconda,自己安装确实坑特别多,搞了半天最后说我 openssl 有问题

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/681172

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX