爬虫框架选择

晨必须的 2014-09-24
jsoup
jiangshu 2014-11-17
danhongbin 写道
   最近有一个需求,对10万个网源进行某个主题的垂直抓取,不用考虑ajax等一些请求,也不用考虑“下一页”等链接,只需要抓取网页当前显示的内容。各位有什么好的建议,思路,欢迎讨论。


500元我把我代码卖给你,这个代码是一家通讯企业的扫描软件
cangbaotu 2016-05-24
完全不会爬虫的初学者,可以看看神箭手云爬虫框架,上手是最快的
lookby 2016-05-28
如果数据量大的话爬虫必须是分布式的,协同工作,单机完成不了太大量的采集,可以参考下这个
http://www.shuhuiji.com
lookby 2016-05-28
这有一个爬虫系统,看起来很完善
http://www.shuhuiji.com
春天好 2016-06-16
分享一个免费好用的云端爬虫开发平台
http://www.shenjianshou.cn/
Global site tag (gtag.js) - Google Analytics