在Github上搭建的个人博客的页面无法被百度Spider爬取的问题
问题:最近,我注意到我网站的流量大多来自于谷歌。我自己通过百度也无法搜索到我的博客中的文章。
经过一些尝试,我发现是 Github 主动屏蔽了来自于 BaiduSpider 的请求。
下是百度Spider抓取结果及页面信息:
提交网址:
http://jerryzou.com/
抓取网址:
http://jerryzou.com/
抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0; +
http://www.baidu.com/search/spider.html
)
抓取时间: 2015-06-02 20:50:04
网站IP: 103.245.222.133
下载时长: 0.394秒
抓取异常信息: 拒绝访问
返回HTTP头:
HTTP/1.1 403 Forbidden
Cache-Control: no-cache
Content-Type: text/html
Transfer-Encoding: chunked
Accept-Ranges: bytes
Date: Tue, 02 Jun 2015 12:50:05 GMT
Via: 1.1 varnish
Connection: close
X-Served-By: cache-lax1429-LAX
X-Cache: MISS
X-Cache-Hits: 0
X-Timer: S1433249405.582624,VS0,VE66
Vary: Accept-Encoding
请问通过何种方式可以让百度可以爬取在Github上搭建的个人博客?
小四LOLI
10 years ago