使用selenium爬虫某宝商品信息相关问题

hi哥布林 2019-04-10
selenium爬虫某宝商品信息时候,健壮性不高,有成功,但是并不能总成功,有时爬到48页左右开始就报错了,有时直接就第一页或者第二页就报错。
我检查了很多遍,应该不是网速没有载入元素的问题,大佬们,这是反爬技术的一种吗?
我还没试过改user-agent跟使用ip代理池,也许我该先去试试吗?
根据错误信息,指的应该是没找到offerid属性,然而我手动去检查应该是早就载入了的。

其中我的报错信息如下:
Traceback (most recent call last):
  File "D:\Users\ftswj\Desktop\playToolItem.py", line 56, in <module>
    offerid = offer.get_attribute('offerid')
  File "D:\Miniconda2\lib\site-packages\selenium\webdriver\remote\webelement.py"
, line 143, in get_attribute
    resp = self._execute(Command.GET_ELEMENT_ATTRIBUTE, {'name': name})
  File "D:\Miniconda2\lib\site-packages\selenium\webdriver\remote\webelement.py"
, line 633, in _execute
    return self._parent.execute(command, params)
  File "D:\Miniconda2\lib\site-packages\selenium\webdriver\remote\webdriver.py",
line 321, in execute
    self.error_handler.check_response(response)
  File "D:\Miniconda2\lib\site-packages\selenium\webdriver\remote\errorhandler.p
y", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.StaleElementReferenceException: Message: stale elemen
t reference: element is not attached to the page document
  (Session info: chrome=73.0.3683.86)
  (Driver info: chromedriver=73.0.3683.68 (47787ec04b6e38e22703e856e101e840b65af
e72),platform=Windows NT 6.1.7601 SP1 x86_64)
Global site tag (gtag.js) - Google Analytics