在Github上搭建的个人博客的页面无法被百度Spider爬取的问题


问题:最近,我注意到我网站的流量大多来自于谷歌。我自己通过百度也无法搜索到我的博客中的文章。

经过一些尝试,我发现是 Github 主动屏蔽了来自于 BaiduSpider 的请求。

下是百度Spider抓取结果及页面信息:

提交网址: http://jerryzou.com/
抓取网址: http://jerryzou.com/
抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0; + http://www.baidu.com/search/spider.html )
抓取时间: 2015-06-02 20:50:04
网站IP: 103.245.222.133
下载时长: 0.394秒
抓取异常信息: 拒绝访问
返回HTTP头:


 HTTP/1.1 403 Forbidden
Cache-Control: no-cache
Content-Type: text/html
Transfer-Encoding: chunked
Accept-Ranges: bytes
Date: Tue, 02 Jun 2015 12:50:05 GMT
Via: 1.1 varnish
Connection: close
X-Served-By: cache-lax1429-LAX
X-Cache: MISS
X-Cache-Hits: 0
X-Timer: S1433249405.582624,VS0,VE66
Vary: Accept-Encoding

请问通过何种方式可以让百度可以爬取在Github上搭建的个人博客?

sitemap 网站建设 seo 网站开发

小四LOLI 9 years, 11 months ago

国内IP解析到 Gitcafe page
国外 GitHub

性本爱秋山 answered 9 years, 11 months ago

主动屏蔽基本无解,不要用gitpage,自己弄个VPS啥的(免费的AWS都行)。 配合又拍云,效果还是很不错的

堕落中飞翔 answered 9 years, 11 months ago

Your Answer