想要了解处理Mapper / Reducer中的异常的最佳实践 .
选项1:没有任何try / catch并让任务失败,MR将重试最终终止作业的任务 . properties mapreduce.map/reduce.maxattempts 在这里扮演角色 .
选项2:使用计数器记录catch块中的故障数 . 并且基于这些错误的某些阈值,要么取消作业,要么只使用计数器来显示失败记录的数量 .
在map-reduce中处理异常的任何(其他)通用/标准实践?
列出的选项1和2是我们在项目中处理的一些方法 . 请看here . 它列出了更多选项
1 回答
列出的选项1和2是我们在项目中处理的一些方法 . 请看here . 它列出了更多选项