java 爬虫

winie 2010-06-04
收费?难道不是开源的?
mozhi509 2010-06-04
暂未考虑开源,产品还不成熟
iKabruce 2010-06-04
mozhi509 写道
暂未考虑开源,产品还不成熟

不成熟还卖啊,你不厚道啊,等成熟了 再卖吧。 再说爬虫对于程序员来说都能写的。只要大家研究一下,保准可以写出来。
sean3112 2010-06-04
楼主在CSDN看到一个外包项目没?别那么直接哦,委婉点,呵呵!
mozhi509 2010-06-04
iKabruce 写道
mozhi509 写道
暂未考虑开源,产品还不成熟

不成熟还卖啊,你不厚道啊,等成熟了 再卖吧。 再说爬虫对于程序员来说都能写的。只要大家研究一下,保准可以写出来。

这只是个时间问题..我相信所有的程序员都能写出来..当然我更相信所有的程序员都会首先搜索开源爬虫..因为我也是从这条路过来的..开源未必好用.
xiao-qiang163 2010-06-05
我前年就为中国移动写了一个爬虫功能的软件,每天定时从 sina,163,yahoo,sohu 中获取 32个 频道的最新新闻,核心模块一个星期就写好了,把最新新闻取下来,还有图片也搞下来,存在指定的服务器目录(每天都会自动新建新目录),以供手机 wap 方式访问
yangfuchao418 2010-06-05
首先写一个爬虫 不难,但是要考虑各种方面也不容易。比如大型分布式,自动聚类 分类,URL识别,自动更新
mozhi509 2010-06-05
yangfuchao418 写道
首先写一个爬虫 不难,但是要考虑各种方面也不容易。比如大型分布式,自动聚类 分类,URL识别,自动更新

是的,原理无非就是对URL进行过滤匹配,获取自己需要的URL,然后解析页面。爬虫的效率更多的体现在网络的带宽上,多线程肯定是必须的,否则耗费在网络上的时间会让人崩溃..
qq5345339 2010-06-05
呵呵···牛B
xin911 2010-06-05

楼主大师
唉 几年了 我还是菜鸟
Global site tag (gtag.js) - Google Analytics