为什么python爬虫爬一号店时所抓取的网页不是按照我的地理位置来的?


我想用python爬取在一号店搜索“洗发水”后出现的的商品信息,而一号店在左上角可以选择收货地址。不同收货地址下进行搜索得出的结果是不一样的。我用浏览器访问时可以自动定位我的地址,即广东省;而用urllib2的urlopen方法抓取的html代码却是以上海市(缺省地址)为收货地址的商品信息。按说用我的ip地址进行抓取不是应该返回广东的商品信息吗?这个问题要怎么解决?

python python-爬虫 网页爬虫

糟糕积分。 9 years, 3 months ago

那个是ajax的,你可以用你选择好的省份信息cookies带着去爬

萌之上即为荡 answered 9 years, 3 months ago

Your Answer