关于baidu蜘蛛无法抓取github page的问题


我的博客 http://blog.whyun.com 是github page上做的cname,但是我在百度的站长工具中做抓取测试,发现百度蜘蛛无法访问这个网站:


 以下是百度Spider抓取结果及页面信息:
提交网址:   http://blog.whyun.com/
抓取网址:   http://blog.whyun.com/
抓取UA:   Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
抓取时间:   2015-06-22 18:32:00
网站IP:   103.245.222.133 报错
下载时长:   0.372秒
抓取异常信息: 拒绝访问  查看帮助 
返回HTTP头:
HTTP/1.1 403 Forbidden
Cache-Control: no-cache
Content-Type: text/html
Transfer-Encoding: chunked
Accept-Ranges: bytes
Date: Mon, 22 Jun 2015 10:32:02 GMT
Via: 1.1 varnish
Connection: close
X-Served-By: cache-lax1424-LAX
X-Cache: MISS
X-Cache-Hits: 0
X-Timer: S1434969122.006655,VS0,VE67
Vary: Accept-Encoding

不知道有没有遇见相同问题的网友

百度 网页爬虫 github-pages

shang 10 years, 2 months ago

302的话我倒是之前见过有文章分析过,403这是禁百度爬虫了吧。。
http://theo.im/blog/2014/05/14/resolve-302-redirection-on-github-pages...

好吃的妖梦 answered 10 years, 2 months ago

jadvd answered 10 years, 2 months ago

Your Answer