我试图运行 Map 减少工作 . 我的mapper代码和reducer代码(python代码)在我的本地系统中工作正常 . 但是当我试图在hadoop上运行它时我收到以下错误

错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败,代码为127,org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:320)位于org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed.java:533)位于org.apache的org.apache.hadoop.streamed.PipeMapper.close(PipeMapper.java:130)org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61) . 在org.apache.hadoop.mapred.MapTask.run(MapTask.java: 342)atg.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:167)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:415 )org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)

15/01/22 23:32:06 INFO mapreduce.Job:任务ID:attempt_1414619043632_78083_m_000000_0,状态:FAILED错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败,代码127位于org.apache.hadoop.streaming .pipeMapRed.waitOutputThreads(PipeMapRed.java:320)org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:533)atg.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)at at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)org.apache.hadoop.stream.PipeMapRunner.run(PipeMapRunner.java:34)org.apache.hadoop.mapred.MapTask.runOldMapper( MapTask.java:430)位于org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)的java.security的org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:167) . 位于org.apache.hadoop的org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)的javax.security.auth.Subject.doAs(Subject.java:415)上的AccessController.doPrivileged(Native Method) . mapred.YarnChild.main( YarnChild.java:162)

15/01/22 23:32:14 INFO mapreduce.Job:任务ID:attempt_1414619043632_78083_m_000000_1,状态:FAILED错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败,代码127位于org.apache.hadoop.streaming .pipeMapRed.waitOutputThreads(PipeMapRed.java:320)org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:533)atg.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)at at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)org.apache.hadoop.stream.PipeMapRunner.run(PipeMapRunner.java:34)org.apache.hadoop.mapred.MapTask.runOldMapper( MapTask.java:430)位于org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)的java.security的org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:167) . 位于org.apache.hadoop的org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)的javax.security.auth.Subject.doAs(Subject.java:415)上的AccessController.doPrivileged(Native Method) . mapred.YarnChild.main( YarnChild.java:162)

15/01/22 23:32:14 INFO mapreduce.Job:任务ID:attempt_1414619043632_78083_m_000001_1,状态:FAILED错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败,代码为127,位于org.apache.hadoop.streaming .pipeMapRed.waitOutputThreads(PipeMapRed.java:320)org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:533)atg.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)at at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)org.apache.hadoop.stream.PipeMapRunner.run(PipeMapRunner.java:34)org.apache.hadoop.mapred.MapTask.runOldMapper( MapTask.java:430)位于org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)的java.security的org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:167) . 位于org.apache.hadoop的org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)的javax.security.auth.Subject.doAs(Subject.java:415)上的AccessController.doPrivileged(Native Method) . mapred.YarnChild.main( YarnChild.java:162)

15/01/22 23:32:21 INFO mapreduce.Job:任务ID:attempt_1414619043632_78083_m_000000_2,状态:FAILED错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败,代码为127 atOrg.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:320)org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:533)org.apache.hadoop.streaming.PipeMapper.close( PipeMapper.java:130)org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)org.apache.hadoop位于org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)的.mapred.MapTask.runOldMapper(MapTask.java:430)org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java: 167)位于org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)的javax.security.auth.Subject.doAs(Subject.java:415)的java.security.AccessController.doPrivileged(Native Method)在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)

15/01/22 23:32:22 INFO mapreduce.Job:任务ID:attempt_1414619043632_78083_m_000001_2,状态:FAILED错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败,代码127位于org.apache.hadoop.streaming .pipeMapRed.waitOutputThreads(PipeMapRed.java:320)org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:533)atg.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)at at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)org.apache.hadoop.stream.PipeMapRunner.run(PipeMapRunner.java:34)org.apache.hadoop.mapred.MapTask.runOldMapper( MapTask.java:430)位于org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)的java.security的org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:167) . 位于org.apache.hadoop的org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)的javax.security.auth.Subject.doAs(Subject.java:415)上的AccessController.doPrivileged(Native Method) . mapred.YarnChild.main( YarnChild.java:162)

15/01/22 23:32:30 INFO mapreduce.Job: Map 100%减少100%15/01/22 23:32:31 INFO mapreduce.Job:作业job_1414619043632_78083因状态失败而失败,原因是:任务失败task_1414619043632_78083_m_000001作业失败任务失败 . failedMaps:1次失败减少:0

15/01/22 23:32:31 INFO mapreduce.Job:计数器:12个作业计数器失败的 Map 任务= 7个已杀死的 Map 任务= 1启动的 Map 任务= 8其他本地 Map 任务= 8所有 Map 在占用的时隙中花费的总时间(ms)= 51787所有占用时隙减少所花费的总时间(ms)= 0所有 Map 任务花费的总时间(ms)= 51787所有 Map 任务占用的总核心秒数= 51787所有 Map 占用的总兆字节数tasks = 450754048 Map-Reduce Framework花费的CPU时间(ms)= 0物理内存(字节)snapshot = 0虚拟内存(字节)snapshot = 0 15/01/22 23:32:31错误streaming.StreamJob:作业不成功!