如题,最近在做一个从网上抓内容的工具,发现需要的内容刚好是ajax动态加载的,不知道有什么办法可以搞定这个问题?
有什么推荐使用的Java库么?我找了找,发现有人说htmlunit好像可以,还在琢磨。
谢谢了!
java Ajax JavaScript
如果说是要抓js生成的页面,貌似没有这方面的类库(本人去年在用程序模拟新浪微博登录的时候找过,没找到。。。) 不过有可以解析javascript语句的java类库
你可以先对页面进行分析,然后确定哪些数据是必须的,即使是ajax动态加载的,数据也是可以获取到的,只是展现形式不同罢了
可以直接用浏览器查看ajax请求的URL,直接down这个就好了
这个我当时遇到的一个情况是,ajax传回来的是一大堆json,然后前端js动态解析这些出来,我的目的是获取解析之后的数据,这样比较直观。 我用的selenium webdriver,自动化测试的一个东西。
网页推送实现方案[框架]
通过ajax请求后台,为什么回调函数里面无法获取request中的值呢?
SpringMVC中使用List数据绑定,ajax怎么传输包含数组的Json数据?
jquery append一个js文件,如何在载入完成执行回调?
ajax请求的数据格式有哪些
找个相仿发微博那样的文本框插件