Android需要利用jsoup解析一个网页的数据,但是 有些数据是滑动到网页底部自动加载的(不用点击加载更多) ,所以如果直接解析该网页url的数据是无法解析动态加载的数据的,该如何实现动态解析并获取这个网页的数据?
补充:修改为在Android平台实现这个功能;数据是滑动到网页底部自动加载
java Android jsoup
使用jsoup获取相应数据,再使用Webview显示就行,就无需点击加载更多。
3种方法可参考下 1)phantomJS来渲染及模拟用户行为,可以后台无界面渲染 2)Electron框架加载页面,JS代码模拟用户行为,例如翻页,鼠标移动,获取页面完整地HTML内容后再解析处理 3)通过浏览器分析页面的网络请求行为,获取动态加载数据时执行的http请求。在java中使用httpclient发送过个http请求的方式来获取完整地页面数据
JSOUP获取到的只是网页的框架和一大堆JS,我用的方法是用selenium,利用浏览器经过渲染之后再获取的。至于你说要滑动到最底部,selenium可以模仿Pg Dn按键,你只要多按几次就会到底部,比如说淘宝界面的内容
看看网站的js如何处理滑动请求
这个需要浏览器的环境吧,比如采用沙箱机制,我不知道Java里有没有这种类库来模拟浏览器,如果项目是Java Web的话,另一个思路可以在一个JSP页面中添加一个iframe,iframe的src设置为你要获取的链接,然后js触发iframe里面页面的onscroll事件,然后将结果回传到server,不知道可不可行。。。
如何解决利用Jsoup解析网页偶然出现问号乱码的问题?
解决 android解析html时 里面有表格、图片、word、pdf等,有没有把所有内容解...
android 图库 发送通过 中加入自己的应用
android 调用系统录音机并能返回含所录音频的
最近出现上传到一半或者部分,就卡条
fragment 没有startActivity(Intent intent,Bundle b...