请问各位大大,怎么拿到滚动页面最完整的html
he36363636
2016-09-09
我去爬一个滚动的页面,已经滚到最下面了,但是去拿整页代码的时候,只能拿到滚动前一次的整页html(它是滚动到最下面的时候加载一部分数据),怎么才能拿到最全的html代码
|
|
回归蔚蓝
2016-09-14
做js渲染才能出现后续数据
|
|
fhg12225
2016-09-26
1、对于页面比较长的页面,在滚动到底部之后,一定要Thread.sleep(1000) 停止时间依据实际情况而定,这样页面才能渲染完毕,否则的话获取源码获取不到。
2、对于这种滚动情况,一般是找到请求连接 直接获取内容 不需要浏览器的。获取的数据可以放在 千界云数据平台 上交易 赚取点外快。 |