如何避免被采集网站?


图片描述

连续几周如此,联通电信会变,每次访问ip会变,访问时间0,频率很高,地区不变,是不是有人采集我的站?如何避免?谢谢!

php 统计 JavaScript 采集

chuyin 9 years, 5 months ago

避免是很难的,只能说尽量提高抓取的成本。

常见都是在nginx或者程序中加入频率限制(rate limit)

RabbitC answered 9 years, 5 months ago

楼上都没答到点子上,一般采集无非就是用硬抓取,如file_get_contents,和模拟抓取,如casperjs,我曾经用casperjs来写爬虫,速度实在太慢,所以casperjs爬虫不太可行,如果只是像file_get_contents之类的,后台分析日志,凡是加载的网页没有加载对应的css和js文件的,全部ban掉
希望写小偷程序的人不要看到这个答案,要不除了限制请求频率根本没法了,哦忘了,我就是专门写小偷程序的

天真真是无邪 answered 9 years, 5 months ago

cnzz统计的问题,加个谷歌统计对比下,流量差距就出来了,有10倍左右,猜测应该是百度蜘蛛之类的,识别为用户了,我的展也这样

一直Y火虫 answered 9 years, 5 months ago

you can't.

撸出一个大明湖 answered 9 years, 5 months ago

关键是你又希望搜索引擎来爬你;

所以这是矛盾的,

只能尽量做好;

几千D花ひら answered 9 years, 5 months ago

在robots.txt中添加屏蔽抓取的策略,就能少被采集了

无敌LtH answered 9 years, 5 months ago

1、采用动态不规则的html标签
2、限制IP

和搜索引擎没有矛盾的,完全可以用nginx判断是否是搜索引擎爬虫,指引到一个固定的html结构的里边,以前就这样做过

憂くないD雲 answered 9 years, 5 months ago

把网站关了即可.

寂静D旋律〤 answered 9 years, 5 months ago

Your Answer