有nutch经验的谈谈看法?
yangshangchuan
2013-03-28
有nutch经验的谈谈看法?
|
|
yangshangchuan
2013-03-29
使用NUTCH的好处在于一些通用的爬虫功能自己就不用实现了,于是可以把精力放到自身的业务逻辑以及技术难题上面。因为NUTCH自始至终就是为了超大规模而设计的,所以我们可以不用考虑性能及扩展的问题。大名鼎鼎的HADOOP出于NUTCH,其HDFS用于存储,MAPREDUCE用于计算,具有非常好的性能和扩展性并久经工业考验,稳定性不容置疑。我最近推出了国内首套免费的《Nutch相关框架视频教程》 ,为今后很多从事网络爬虫、大数据分析处理、搜索引擎的人开了方便之门,大家有兴趣可以到我的博客查看。欢迎交流。
|
|
qdj6679
2013-04-27
您好,非常感谢你的分享视频,确实很有用,其次,如果要对Nutch进行定制,该如何学习?
|
|
yangshangchuan
2013-04-28
qdj6679 写道 您好,非常感谢你的分享视频,确实很有用,其次,如果要对Nutch进行定制,该如何学习?
要进行定制,首先需要了解他的功能,之后根据需要阅读并修改相关源代码,在NUTCH相关框架视频教程1-8讲中介绍了NUTCH的功能,定制NUTCH需要需要对HADOOP的HDFS和MAPREDUCE有深入理解。 |