ajax抓取
 |
wycg1984
2009-08-31
请教个问题
怎么抓取由脚本语言（如VBScript和JavaScript）生成的网页 |
|
wycg1984
2009-09-02
你做过这方面的啊
|
|
ywlqi
2009-09-15
找到ajax访问的url，用httpclient访问这个url，会返回一个文本，解析文本就可以了
|
 |
shaozhen
2011-03-24
有没有确定答案或者方案
|
|
shaozhen
2011-03-30
有没有相应的demo可以参考一下呢？因为这个东西之前搞过都没有做成功，还有，能不能突破验证码呢？
|
 |
illu
2011-03-30
用firefox的firebug和httpfox两个插件很容易分析出目标网站ajax访问的url和提交参数
|
|
shaozhen
2011-03-31
用firefox的插件可以查看URL，但现在我不想用这个，我想通过程序，利用htmlparser可以将其爬下来，都可以实现。现在要通过httpclient提交ajax，ajax是在js里面，当我们点击页面的按钮的时候，不是直接提交页面上的form表单，而是直接访问的时候js中的ajax请求，通过httpclient怎样实现呢？？
|
|
illu
2011-04-01
这个我还没有实现过
我做过的爬虫都是针对固定网站的数据抽取爬虫 需要自己写一些脚本程序来实现 你能抓到ajax在js中的url 但是ajax提交的时候往往会有很多参数 我感觉这些参数是没有办法抓到的。。 |
|
shaozhen
2011-04-01
上一个问题最好的解决办法是用httpwatch插件，可以跟踪浏览器请求方式及请求参数。
新的问题是怎样实现通过httpclient请求https（ssl验证），像我们平时去网易进行充值或者是登陆邮箱，都有相应的ssl验证。。 |
 |
lhdgriver
2011-04-07
用htmlunit
那个本来是做网页TEST的 但是可以模拟用户点击， HttpAnchor a; a.click()就点击了一个链接 （我只是举例子，可以点击button什么的） |
