同一请求地址两次的网页显示不同,源码也不一致
本人最近在尝试网页抓取,发现当当店铺的商品列表页面每次请求的结果都不相同。
举个例子:韩都衣舍 =
http://shop.dangdang.com/4609/list.html
。
多次请求这个地址会发现每次的商品页数可能不同,源码也不同。实际结果就是明明应该有几十页的内容,却只显示有几页。这是什么原因导致呢?因为我是通过页面内的下一页来抓取下一页内容,这样的话必然导致抓取不足,甚至有时候明明下一页是第三页,却显示了第一页的内容,望解答,谢谢。
PS:可能表达不清,如需细节再补充
shana66
9 years, 7 months ago