使用selenium爬虫某宝商品信息相关问题
hi哥布林
2019-04-10
selenium爬虫某宝商品信息时候,健壮性不高,有成功,但是并不能总成功,有时爬到48页左右开始就报错了,有时直接就第一页或者第二页就报错。
我检查了很多遍,应该不是网速没有载入元素的问题,大佬们,这是反爬技术的一种吗? 我还没试过改user-agent跟使用ip代理池,也许我该先去试试吗? 根据错误信息,指的应该是没找到offerid属性,然而我手动去检查应该是早就载入了的。 其中我的报错信息如下: Traceback (most recent call last): File "D:\Users\ftswj\Desktop\playToolItem.py", line 56, in <module> offerid = offer.get_attribute('offerid') File "D:\Miniconda2\lib\site-packages\selenium\webdriver\remote\webelement.py" , line 143, in get_attribute resp = self._execute(Command.GET_ELEMENT_ATTRIBUTE, {'name': name}) File "D:\Miniconda2\lib\site-packages\selenium\webdriver\remote\webelement.py" , line 633, in _execute return self._parent.execute(command, params) File "D:\Miniconda2\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute self.error_handler.check_response(response) File "D:\Miniconda2\lib\site-packages\selenium\webdriver\remote\errorhandler.p y", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.StaleElementReferenceException: Message: stale elemen t reference: element is not attached to the page document (Session info: chrome=73.0.3683.86) (Driver info: chromedriver=73.0.3683.68 (47787ec04b6e38e22703e856e101e840b65af e72),platform=Windows NT 6.1.7601 SP1 x86_64) |