首页 文章

如何防止因减少任务失败而导致的hadoop失败作业

提问于
浏览
1

我在 AWS EMR hadoop 2.2.0 版本中运行了 s3distcp 作业 . 3次尝试后,作业保持失败,减速器任务失败 . 我也试过了两个:

mapred.max.reduce.failures.percent
mapreduce.reduce.failures.maxpercent

要50到oozie hadoop 动作配置和 mapred-site.xml . 但仍然失败了 .

以下是日志:

2015-10-02 14:42:16,001 INFO [main] org.apache.hadoop.mapreduce.Job:任务ID:attempt_1443541526464_0115_r_000010_2,状态:FAILED 2015-10-02 14:42:17,005 INFO [main] org.apache .hadoop.mapreduce.Job: Map 100%减少93%2015-10-02 14:42:29,048 INFO [主要] org.apache.hadoop.mapreduce.Job: Map 100%减少98%2015-10-02 15: 04:20,369 INFO [main] org.apache.hadoop.mapreduce.Job:map 100%reduce 100%2015-10-02 15:04:21,378 INFO [main] org.apache.hadoop.mapreduce.Job:job job_1443541526464_0115 failed状态为FAILED由于:任务失败task_1443541526464_0115_r_000010作业失败,因为任务失败 . failedMaps:0 failedReduces:1 2015-10-02 15:04:21,451 INFO [main] org.apache.hadoop.mapreduce.Job:Counters:45 File System Counters FILE:读取的字节数= 280 FILE:写入的字节数= 10512783 FILE:读操作数= 0 FILE:大读操作数= 0 FILE:写操作数= 0 HDFS:读取的字节数= 32185011 HDFS:写入的字节数= 0 HDFS:读操作数= 170 HDFS:大读操作次数= 0 HDFS:写操作次数= 28个作业计数器失败减少任务= 4启动 Map 任务= 32启动减少任务= 18数据本地映射任务= 15机架本地映射任务= 17总计占用时隙中所有映射所花费的时间(ms)= 2652786占用时隙中所有映射所花费的总时间(ms)= 65506584 Map-Reduce框架映射输入记录= 156810映射输出记录= 156810映射输出字节= 30892192映射输出物化字节= 6583455输入分割字节= 3904组合输入记录= 0组合输出记录= 0减少输入组= 0减少随机字节= 7168减少输入记录= 0减少输出记录= 0溢出记录= 156810混洗映射= 448失败随机数= 0合并映射输出= 448失败随机数= 0合并映射输出= 448 GC时间已过去(ms)= 2524 CPU花费时间(ms) = 108250物理内存(字节)snapshot = 14838984704虚拟内存(字节)snapshot = 106769969152已提交的总堆使用量(字节)= 18048614400随机错误BAD_ID = 0 CONNECTION = 0 IO_ERROR = 0 WRONG_LENGTH = 0 WRONG_MAP = 0 WRONG_REDUCE = 0文件输入格式计数器字节读取= 32181107文件输出格式计数器字节写入= 0 2015-10-02 15:04:21,451 INFO [main] com.amazon.external.elasticmapreduce.s3distcp.S3DistCp:尝试递归删除hdfs:/ tmp / 218ad028- 8035-4f97-b113-3cfea04502fc / tempspace 2015-10-02 15:04:21,515 INFO [main] org.apache.hadoop.io.compress.zlib.ZlibFactory:成功加载并初始化native-zlib库2015-10-02 15:04:21,516 INFO [main] org.apache.hadoop.io.compress.CodecPool:得到了全新的压缩器[.deflate] 2015-10-02 15:04:21,554 INFO [m ain] org.apache.hadoop.mapred.Task:任务:attempt_1443541526464_0114_m_000000_0完成 . 并且正在提交2015-10-02 15:04:21,570 INFO [main] org.apache.hadoop.mapred.Task:任务attempt_1443541526464_0114_m_000000_0现在可以提交2015-10-02 15:04:21,584 INFO [ main] org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter:任务'attempt_1443541526464_0114_m_000000_0'保存输出到hdfs://rnd2-emr-head.ec2.int$ 2015-10-02 15:04:21,598 INFO [ main] org.apache.hadoop.mapred.Task:任务'attempt_1443541526464_0114_m_000000_0'完成 . 2015-10-02 15:04:21,616 INFO [Thread-6] amazon.emr.metrics.MetricsSaver:Inside MetricsSaver Shutdown Hook

任何建议将不胜感激 .

1 回答

  • 0

    你能尝试清理hdfs:// tmp目录吗?只需备份目录,因为其他一些应用程序使用tmp目录,如果您遇到任何问题,可以替换tmp目录 .

相关问题