Hadoop:Eclipse中运行Job,只有一个reduce。


已经在集群机器的mapred-site.xml中设置了mapred.tasktracker.reduce.tasks.maximum为10,同时在代码中也设置了jobConf.setNumReduceTasks(5)。
命令行打包并执行job时是正常的,但是如果用eclipse运行任务,只启动了一个reduce。
也尝试着在eclipse的 Map/Reduce Locations中修改了mapred.reduce.tasks 为 10,但不起作用。
请问是不是还需要在eclipse中做其他设置才行呢?
谢谢!

hadoop mapreduce

L.Ling 12 years, 6 months ago

已经解决,eclipse默认是localJobRunner启动,只有一个reducer,可以通过将配置目录加入classpath,和增加打包的函数实现到分布式上运行,就能启动多个reducer了。

撞车不是错 answered 12 years, 6 months ago

Your Answer