java 爬虫

wosongxiaoqi 2016-01-19
有网银控件的能登录吗?大神
lk123456sc 2016-02-26
以前自己写的也有一个,后来因为数据太多,运行了半个月我给停了。现在改了一个只抓首页的。。。我想知道楼主所有网站全量爬行,数据库够用不?
落地窗 2016-04-26
mozhi509 写道
kqy929 写道
不知道楼主是否处理拦截的问题。
例如,访问频率稍高,一些网站就会出现请输入验证码,或者其他的禁止访问方式。

该爬虫已实现通过代理或直接访问,通过代理会欺骗那些网站,除非它把代理IP断了,但那样,网站就得不尝失了,比如google每天都在大量爬取很多网站的数据,所以通过代理是很安全的,你说的问题很愚蠢

扯几把,人家说问题,肯定存在,你这种刚入门的才是愚蠢!你多爬你个网站,就会遇到这个问题,有些网站不会封ip,但是会针对你的请求弹验证码!!懂么。。。
java老大爷 2017-12-21
技术扶持 技术交流  汇聚程序员精英   群里有马士兵2017java,架构大数据最新视频下载 支持手机在线观看  群号233025331
Global site tag (gtag.js) - Google Analytics