heritrix 怎样避免第二次抓取重复的内容?
 |
lvxiaoxi
2008-08-25
在第二次抓取时,如果以前的内容没有变动,就不需重复的抓取,请问怎样配置呢?
|
 |
fffddgx
2009-04-27
你解决了吗？说说怎么解决的啊。谢谢。
|
 |
bingxuelian2010
2010-03-22
楼上的都解决了没啊？怎么没音了啊？
|
 |
eimhee
2010-03-27
把已经采集过的URL放到数据库中， 查找一下不就不会抓取到重复的吗
|
|
geogre
2010-10-02
判断上次抓取的日志
|
