单机模式下运行Hadoop示例程序报错


环境:Windows7+Cygwin+Hadoop 0.20.203.0
配置:单机模式

运行命令:hadoop jar hadoop-examples-0.20.203.0.jar grep input output 'dfs[a-z.]+'

查看日志,发现是TaskTracker的问题,好像刚开始用bin/start-all.sh后,tasktracker就没有成功启动,说tmp目录权限的问题,如下所示:

2011-06-08 16:32:18,157 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: /tmp/hadoop-Administrator/mapred/local/taskTracker to 0755
    at org.apache.hadoop.fs.RawLocalFileSystem.checkReturnValue(RawLocalFileSystem.java:525)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:507)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:318)
    at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:183)
    at org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:630)
    at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1328)
    at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3430)

各位你们都遇见过这个问题过吗?怎么解决的,谢谢!

hadoop permission

关于茶的理想 10 years, 6 months ago

这里有关于这个问题的讨论
http://comments.gmane.org/gmane.comp....

似乎到最后他们也没有发现问题所在,但是可以确定的是跟版本有问题,如果你用上一个版本,比如0.20.2就没有这个问题,可能是这个版本的一个bug

在这里也有讨论
http://bbs.hadoopor.com/thread-3303-1...

todes answered 10 years, 6 months ago

Your Answer