如何用python抓取js生成的数据

想写一个爬虫,但是需要抓去的的数据是js生成的,在源代码里看不到,要怎么才能抓到呢? 最好是用python

python 网页爬虫


share
打酱油的飞过 10 years, 11 months ago

Answers

如果对抓取的性能没有什么要求的话, 尝试一下selenium或者watir吧.
web自动化测试脚本用好了可以做很多事情.
利用你的浏览器执行好js, 然后再从dom里面取数据.

另外一个情况, 如果你知道js是通过ajax或者api取数据的, 直接去抓数据源, 得到的不是json就是xml, 然后处理数据吧


share
likeclj answered 10 years, 11 months ago

Your Answer

Ask Question
Related questions

BeautifulSoup 用 .find(text=True) 找不到 table 里边的文字

python的requests登录到知乎

scrapy模拟登陆知乎出现重定向无法登陆问题

Python requests 多线程抓取 出现HTTPConnectionPool Max ...

python爬虫怎么在网易博客发表评论

python爬虫模拟登陆，post后如何返回retUrl