关于baidu蜘蛛无法抓取github page的问题
我的博客 http://blog.whyun.com 是github page上做的cname,但是我在百度的站长工具中做抓取测试,发现百度蜘蛛无法访问这个网站:
以下是百度Spider抓取结果及页面信息:
提交网址: http://blog.whyun.com/
抓取网址: http://blog.whyun.com/
抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
抓取时间: 2015-06-22 18:32:00
网站IP: 103.245.222.133 报错
下载时长: 0.372秒
抓取异常信息: 拒绝访问 查看帮助
返回HTTP头:
HTTP/1.1 403 Forbidden
Cache-Control: no-cache
Content-Type: text/html
Transfer-Encoding: chunked
Accept-Ranges: bytes
Date: Mon, 22 Jun 2015 10:32:02 GMT
Via: 1.1 varnish
Connection: close
X-Served-By: cache-lax1424-LAX
X-Cache: MISS
X-Cache-Hits: 0
X-Timer: S1434969122.006655,VS0,VE67
Vary: Accept-Encoding
不知道有没有遇见相同问题的网友
shang
10 years, 4 months ago
Answers
302的话我倒是之前见过有文章分析过,403这是禁百度爬虫了吧。。
http://theo.im/blog/2014/05/14/resolve-302-redirection-on-github-pages...
好吃的妖梦
answered 10 years, 4 months ago