【求解】nodejs豆瓣小组爬虫分析与解决。


豆瓣小组地址:
http://www.douban.com/group/ (采用 request、http.get全部是403错误)
(ALL)具体小组地址:
http://www.douban.com/group/ 小组ID/
例如:分页地址
http://www.douban.com/group/kaopulove/discussion?start= 数字(采用 request、http.get,还是TM403错误)
该小组下的具体主题地址:
http://www.douban.com/group/topic/54905582/ (采用 request、http.get,吐血还是403错误)

大伙有没有相应的解决方案呢?demo 等等之类的,这TM的全是403错,这是为毛呢!!
电影的那个爬虫我看过了,测试了是可以爬的。为毛小组爬不了呢?
我也看了不少Python写的爬虫都有爬小组的。为毛nodeJS不行呢?

request http node.js

特別蠢_蠢到死 10 years, 4 months ago

User-Agent修改了没有,
Cookie有没有禁止掉,
时间设置了没有,不要影响别人正常使用

KAIYSA answered 10 years, 4 months ago

Your Answer