hadoop 的MapReduce只运行一次?


hadoop部署完后,运行MapReduce: hadoop jar sasVideo.jar /video /out
然后查看out中的内容生成了我需要的结果,目前架构是这样的,flume从多台服务器采集日志信息放入hadoop hdfs文件系统中, hadoop运行MapReduce进行分析生成结果,现在的问题是,我发现他只能生成一次,例如我第一次运行得到了想要的结果,可以用,然后flume一直在不停的采集日志写入hdfs,这些新写入的日志信息就一直没有能够被分析,然后我再次运行hadoop jar sasVideo.jar /video /out2 才能看到想要的结果,是不是我哪没搞错了?

hadoop java

未知伴侣F 12 years, 7 months ago

MapReduce 就一个作业,执行完了就退出了,你要对采集数据不停处理,要么在外围用shell程序控制 或 尝试写flume 插件处理原始数据

関西弁最高 answered 12 years, 7 months ago

Your Answer