首页 文章

Hadoop map / reduce显示错误:com.mongodb.connection.SslSettings $ Builder.context(Ljavax / net / ssl / SSLContext;)

提问于
浏览
2

我定期运行map / reduce作业,最近我得到了这种日志:

17/09/27 10:38:03 INFO mapreduce.Job:map 27%reduce 0%17/09/27 10:38:07 INFO mapreduce.Job:Task Id:attempt_1494368272823_5583_m_000014_0,Status:FAILED错误:com.mongodb .connection.SslSettings $ Builder.context(Ljavax /净/ SSL /的SSLContext)LCOM / mongodb的/连接/的SSLSettings $生成器; 17/09/27 10:38:08 INFO mapreduce.Job: Map 30%减少0%17/09/27 10:38:10 INFO mapreduce.Job: Map 30%减少6%17/09/27 10:38 :43 INFO mapreduce.Job: Map 32%减少6%17/09/27 10:38:45 INFO mapreduce.Job: Map 33%减少6%17/09/27 10:38:46 INFO mapreduce.Job:map 33%减少7%17/09/27 10:38:49 INFO mapreduce.Job: Map 35%减少7%17/09/27 10:38:52 INFO mapreduce.Job: Map 35%减少8%17/09 / 27 10:39:15 INFO mapreduce.Job:任务ID:attempt_1494368272823_5583_m_000008_0,状态:FAILED错误:com.mongodb.connection.SslSettings $ Builder.context(Ljavax / net / ssl / SSLContext;)Lcom / mongodb / connection / SslSettings $生成器; ApplicationMaster杀死的容器 . 根据要求杀死容器 . 退出代码是143容器退出,非零退出代码143 17/09/27 10:39:16 INFO mapreduce.Job:map 40%reduce 10%

最后是:

17/09/27 10:44:12 INFO mapreduce.Job:作业job_1494368272823_5583因状态失败而失败,原因是:任务失败task_1494368272823_5583_m_000025作业失败,因为任务失败 . failedMaps:1 failedReduces:0 17/09/27 10:44:12 INFO mapreduce.Job:计数器:41文件系统计数器FILE:读取的字节数= 0 FILE:写入的字节数= 5481350 FILE:读取操作数= 0 FILE:大读操作数= 0 FILE:写操作数= 0 HDFS:读取的字节数= 3430808431 HDFS:写入的字节数= 2495944 HDFS:读操作数= 5540 HDFS:大读操作数= 0 HDFS:写入操作数= 118个作业计数器失败的 Map 任务= 21个被杀死的 Map 任务= 9个被杀死的减少任务= 1启动 Map 任务= 47启动减少任务= 1其他本地 Map 任务= 20数据本地 Map 任务= 26机架-local map tasks = 1占用插槽中所有映射所花费的总时间(毫秒)= 34635900所有映射任务所花费的总时间(毫秒)= 3707820所有映射任务所花费的总时间(毫秒)= 3463590 all reduce tasks(ms)= 370782所有map任务占用的总vcore-毫秒= 3463590所有reduce任务占用的总vcore-毫秒数= 370782总m所有map任务占用的egabyte-milliseconds = 34635900000所有reduce任务占用的总兆字节数 - 毫秒= 3707820000 Map-Reduce Framework Map输入记录= 18映射输出记录= 9722映射输出字节= 2572358映射输出物化字节= 2608684输入拆分字节= 3387组合输入记录= 0溢出记录= 9722失败随机数= 0合并映射输出= 0 GC时间已过(ms)= 62408 CPU花费时间(ms)= 1809020物理内存(字节)快照= 56575217664虚拟内存(字节)快照= 155695132672已提交的总堆使用量(字节)= 60439920640文件输入格式计数器字节读取= 0 MapReduce失败,带1

有时候这份工作确实成功完成了 . 有时它就像上面那样 . 日志中没有给出更多信息 . 我将很感激任何有关导致这种失败的确切情况的见解?据我所知,它似乎不是超时或内存问题 . 群集没有超载(我检查过)...

编辑:进一步调试后,当我连接到MongoDB时,似乎问题发生在“connect”方法中 . 但为什么会发生这种情况?当我尝试手动时连接成功,并且它有时会起作用 .

1 回答

相关问题