scrapy能爬取https的网页么
想获得 https://www.facebook.com/feeds/page.php?format=json&id=1433215316907826 中的alternate,但是爬虫返回404的网页错误
Answers
用Scrapy对https是不行的,你可以用Facebook的SDK
这有个用scrapy爬取https的解决方法: http://stackoverflow.com/questions/23958073/scrapy-not-scraping-https