scrapy能爬取https的网页么

想获得 https://www.facebook.com/feeds/page.php?format=json&id=1433215316907826 中的alternate，但是爬虫返回404的网页错误

python scrapy


share
金肛互撸娃 10 years, 10 months ago

Answers

到最后发现是proxy的问题。线上测试就没问题


share
古手·羽　入 answered 10 years, 10 months ago

用Scrapy对https是不行的，你可以用Facebook的SDK

https://github.com/pythonforfacebook/facebook-sdk


share
荒耶丿宗蓮 answered 10 years, 10 months ago

这有个用scrapy爬取https的解决方法： http://stackoverflow.com/questions/23958073/scrapy-not-scraping-https


share
kuuuuuu answered 10 years, 10 months ago

Your Answer

Ask Question
Related questions

怎么查找到天猫的cookie信息？

请教python中如何设置编码可以正确的显示中文？

scrapy模拟登陆知乎出现重定向无法登陆问题

python re抓站存数据问题。

scrapy抓取内容保存为中文问题

scrapy shell返回connection refused