本圈子主要讨论网络爬虫技术。讨论爬虫的一些具体技术问题，如爬Ajax网站，爬需要验证的网站，分布式爬虫,网页信息抽取算法等等网页采集难题。主要是Java开源组件Heritrix，nutch爬虫的源码剖析，功能扩展，当然还可以其他的爬虫。
公告
刚刚成立，欢迎大家加入。
讨论
| 话题 | 作者 | 回复/点击 | 最后回复 |
| 蓝天采集器,php编写的爬虫系统 | zorlan | 0 / 2195 | 2019-09-27  |
| 使用selenium爬虫某宝商品信息相关问题 | hi哥布林 | 0 / 1786 | 2019-04-10 |
| pyspider无法设置项目间隔重复执行 | solidvacuum | 5 / 2688 | 2018-08-10 |
| 高匿高质量代理IP 连成率95% 同时支持支持Http/Https ... | 123a321 | 1 / 2153 | 2018-07-06 |
| 代理云为爬虫提供分布式代理IP解决方案 | bjt5521 | 2 / 2087 | 2018-06-10 |
| 高匿高质量代理IP，同时支持http/https/S5协议。 | 123a321 | 0 / 3165 | 2018-04-04 |
| java 爬虫 | mozhi509 | 63 / 29200 | 2017-12-21 |
| 太难了！哪位爬取过香港交易所的数据？ | 21zerospace | 6 / 5804 | 2017-08-31 |
| 做了两年多的一个项目，第一次邀请测试，希望对您有用 | wmcoo | 29 / 8376 | 2017-07-28 |
| 出一手高质量HTTP代理ip 需要的联系~ | bjt5521 | 0 / 4058 | 2017-07-26 |
| 用python的requests模拟登陆，怎样才能达到这个网站最 ... | guancheng001 | 1 / 2797 | 2017-07-16 |
| 怎么用Python抓js生成的内容，还要绕过验证码 | rudy_yuan | 1 / 3976 | 2017-05-05 |
| > 更多讨论 | |||
群组知识库
Heritrix2出现NullPointerException的原因和解决方式
Heritrix2在Settings Sheets时出现java.lang.NullPointerException错的原因和解决方式 如果使用IE或者IE内核的浏览器，在进行Settings Sheets操作时，会出现上述错误。这是因为Heritrix2在相关页面使用<button> 控件替换了原来的<input type="button">。&l ...
在eclipse中设置heritrix2的运行环境
在eclipse中设置heritrix2的运行环境 基本上根据heritrix的文档就可以设置好，不过中间会很有些坎坷。把坎坷记录下来备忘。希望对遇见同样问题的人有所帮助。heritrix的文档参见：http://webteam.archive.org/confluence/display/Heritrix/Setting+up+the+new+Heritrix+in+Eclipse1、从h ...
深入学习Heritrix---解析Frontier(链接工厂)
Frontier是Heritrix最核心的组成部分之一,也是最复杂的组成部分.它主要功能是为处理链接的线程提供URL,并负责链接处理完成后的一些后续调度操作.并且为了提高效率,它在内部使用了Berkeley DB.本节将对它的内部机理进行详细解剖.在Heritrix的官方文档上有一个Frontier的例子,虽然很简单,但是它却解释Frontier实现的基本原理.在这里就不讨论,有兴趣的读者可以参考相 ...
深入学习Heritrix---解析处理器(Processor)
本节解析与处理器有关的内容. 与处理器有关的主要在以下几个类:Processor(处理器类),ProcessorChain(处理器类),ProcessorChainList(处理器链列表).它们之间的关系如下: 下面将解析该图. (1)Processor 代表一个处理器. Codepackage org.archive.crawler.framework;public class Proce ...
深入学习Heritrix---解析CrawlController
当我们以Web UI方式使用Heritrix时,点击任务开始(start)按钮时,Heritrix就开始了它的爬取工作.但它的内部 执行流程是怎样的呢?别急,下面将慢慢道来. (一)CrawlJobHandler 当点击任务开始(start)按钮时,将执行它的startCrawler()方法: if(sAction.equalsIgnoreCase("start")){ // ...
小组成员733人 浏览523033次 成员列表
| 2024-11 | ||||||
| 一 | 二 | 三 | 四 | 五 | 六 | 日 |
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | |
群组信息
- 永久域名 https://crawl-group.iteye.com
- 订阅群组博客
- 创建于 2008-05-16