模拟浏览器操作抓取js生成的数据


我想采集这样的一个网页的内容:
当你下拉鼠标,浏览器中由JS动态产生一个动态参数(这个参数产生比较复杂),然后ajax据这个参数请求服务器,返还下一屏的内容。

这样一来,我采集他们的数据就很困难了。因为没办法重建ajax请求url

大致想一下,应该是运行一个webkit浏览器,然后让鼠标自动往下拉,一直拉到网页底部,这个时候,我再抓取他们的内容。

具体该怎么做呢?

编程

izanami 10 years, 3 months ago

不容易,可能需要python webkit的操作接口。

mikas answered 10 years, 3 months ago

Your Answer