有没有可能爬淘宝,获取商品信息?


我们想做电子商务垂直行业分析,想爬取淘宝的商品信息。淘宝的商品信息使用了很多ajax技术,尤其是评论部分;请问有什么好的方案么?

淘宝 网页爬虫

萩村铃GG 10 years, 7 months ago

有两种方案

  • 抓取网页后,用webkit的内核渲染网页
  • 人工构造Ajax的URL,获取Ajax内容后提取信息

目前我司用的是第二种方法,已经抓取了亿级别的淘宝商品

组成躯干和手臂 answered 10 years, 7 months ago

Your Answer