模拟浏览器操作抓取js生成的数据
我想采集这样的一个网页的内容:
当你下拉鼠标,浏览器中由JS动态产生一个动态参数(这个参数产生比较复杂),然后ajax据这个参数请求服务器,返还下一屏的内容。
这样一来,我采集他们的数据就很困难了。因为没办法重建ajax请求url
大致想一下,应该是运行一个webkit浏览器,然后让鼠标自动往下拉,一直拉到网页底部,这个时候,我再抓取他们的内容。
具体该怎么做呢?
izanami
10 years, 4 months ago