java 爬虫
winie
2010-06-04
收费?难道不是开源的?
|
|
mozhi509
2010-06-04
暂未考虑开源,产品还不成熟
|
|
iKabruce
2010-06-04
mozhi509 写道 暂未考虑开源,产品还不成熟
不成熟还卖啊,你不厚道啊,等成熟了 再卖吧。 再说爬虫对于程序员来说都能写的。只要大家研究一下,保准可以写出来。 |
|
sean3112
2010-06-04
楼主在CSDN看到一个外包项目没?别那么直接哦,委婉点,呵呵!
|
|
mozhi509
2010-06-04
iKabruce 写道 mozhi509 写道 暂未考虑开源,产品还不成熟
不成熟还卖啊,你不厚道啊,等成熟了 再卖吧。 再说爬虫对于程序员来说都能写的。只要大家研究一下,保准可以写出来。 这只是个时间问题..我相信所有的程序员都能写出来..当然我更相信所有的程序员都会首先搜索开源爬虫..因为我也是从这条路过来的..开源未必好用. |
|
xiao-qiang163
2010-06-05
我前年就为中国移动写了一个爬虫功能的软件,每天定时从 sina,163,yahoo,sohu 中获取 32个 频道的最新新闻,核心模块一个星期就写好了,把最新新闻取下来,还有图片也搞下来,存在指定的服务器目录(每天都会自动新建新目录),以供手机 wap 方式访问
|
|
yangfuchao418
2010-06-05
首先写一个爬虫 不难,但是要考虑各种方面也不容易。比如大型分布式,自动聚类 分类,URL识别,自动更新
|
|
mozhi509
2010-06-05
yangfuchao418 写道 首先写一个爬虫 不难,但是要考虑各种方面也不容易。比如大型分布式,自动聚类 分类,URL识别,自动更新
是的,原理无非就是对URL进行过滤匹配,获取自己需要的URL,然后解析页面。爬虫的效率更多的体现在网络的带宽上,多线程肯定是必须的,否则耗费在网络上的时间会让人崩溃.. |
|
qq5345339
2010-06-05
呵呵···牛B
|
|
xin911
2010-06-05
楼主大师 唉 几年了 我还是菜鸟 |