因为要抓取的网页内容是由JS生成的，所以再用hxs.select获取不到，根据网上的方法，写一个webkit下载器中间件，然后配置里也配好，再次通过scrapy shell http://www.**.com 的时候可以看见新加的webkitdownloader中间件加载了，但是依然无法通过hxs.select获取到我想要的DIV。第一次提问，请懂的大侠多多指教。感谢。
环境是UBUNTU 12.10，scrapy 0.16.3,python 2.7.3