最近各电商打得很火啊！我也就学习学习爬虫。遇到些问题,关于User-Agent,关于403
恩。我最近在弄个爬虫的程序，主要是弄来玩玩
是用python写的程序。目前遇到的问题是爬虫爬一会儿就会被返回
403 forbidden
这时，我依然可以使用浏览器访问该网页（爬虫处理到的页面）
于是我想到了修改USER-AGENT来伪装浏览器访问的效果
但是依旧是程序403，且浏览器可以访问。
请问，这是怎么回事，有什么办法可以解决吗？谢谢！
关于连接部分的代码是这样:(python3)
import urllib.request
req = urllib.request.Request('http://www.xxx.com')
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; rv:7.0) Gecko/20100101 Firefox/7.0")
rec = urllib.request.urlopen(req).read().decode('utf8')
然后就会返回403了
谢谢！
Jachou
11 years, 8 months ago
Answers
一般网站没什么可能会用USER-AGENT来过滤的,但爬虫要尽量模拟浏览器的行为直到可以达到目的,python已经内建支持很多浏览器的特性了.下面是我用来抓某个需要登录的网站的代码,用了cookielib.
cj = cookielib.MozillaCookieJar(cookiefile)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
data ={'csrfmiddlewaretoken' : '',
'username' : username,
'password' : password,
'login' : '登录',
'continue' : 'home',
'u' : '1',
'next' : ''
}
url="/accounts/login/"
request = urllib2.Request(__get_full_url(url))
response = opener.open(request)
for cookie in cj:
if cookie.name == 'csrftoken':
data['csrfmiddlewaretoken'] = cookie.value
break
params = urllib.urlencode(data)#不能直接处理<unicode> objects
request = urllib2.Request(__get_full_url(url),data=params)
opener.open(request) #保存登录状态,然后可以用这个opener,想干嘛就干嘛
cj.save(ignore_discard=True, ignore_expires=True)#保存cookie方便下次使用
当然具体案例要具体分析,善用抓包工具,推荐
wireshark
,留意header,cookie,post,有些网站会利用重定向的时候设置cookie.再不行就分析js代码.
到这一步大多数网站都逃不过你初有所成的
咸猪手
了.
如果有
验证码
,哈哈,那就修炼
pyBrain
吧.祝你早日炼成盖世咸猪手.
小麦不好吃
answered 11 years, 8 months ago