采集的时候 怎么模拟是浏览器访问的呢? 要加哪些头信息呢


采集的时候 怎么模拟是浏览器访问的呢? 要加哪些头信息呢

我当前使用的是 java类库 commons-httpclient-3.0.1.jar

这些头信息应该是通用的,所以请大家给出 任意语言版本的demo 都行

java 浏览器 php http协议

子在川上日 12 years, 7 months ago

一般添加referer和UA的信息就可以了。例如下面代码:

   
  final HttpClient httpClient = new HttpClient();
  
final GetMethod getMethod = new GetMethod(url);
getMethod.getParams().setParameter(HttpMethodParams.HTTP_CONTENT_CHARSET, charset);
getMethod.getParams().setSoTimeout(5000);
getMethod.addRequestHeader("Referer", "http://www.baidu.com");
getMethod.addRequestHeader("User-Agent",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.52 Safari/536.5");

se⑦en answered 12 years, 7 months ago

Your Answer