现在，我有一个Hadoop工作，它创建了一个非常有名的计数器 . 例如，以下一个： stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits . 此计数器在Web界面和 getName() 方法调用上被截断 . 我发现Hadoop对计数器最大名称有限制，此设置id mapreduce.job.counters.counter.name.max 用于配置此限制 . 所以我将此增加到 500 并且web界面现在显示完整的计数器名称 . 但是 getName() 的计数器仍然返回截断的名称 .

请问某人，解释一下或指出我的错误？谢谢 .

EDIT 1

我的hadoop服务器配置由单个服务器组成，其中包含hdfs，yarn和map-reduce . 在map-reduce期间，有一些计数器增量，在作业完成后，在 ToolRunner 中，我使用 org.apache.hadoop.mapreduce.Job#getCounters 获取计数器 .

EDIT 2

Hadoop版本如下：

Hadoop 2.6.0-cdh5.8.0
Subversion http://github.com/cloudera/hadoop -r 042da8b868a212c843bcbf3594519dd26e816e79 
Compiled by jenkins on 2016-07-12T22:55Z
Compiled with protoc 2.5.0
From source with checksum 2b6c319ecc19f118d6e1c823175717b5
This command was run using /usr/lib/hadoop/hadoop-common-2.6.0-cdh5.8.0.jar

我做了一些额外的调查，似乎this issue描述了与我相似的情况 . 但是's pretty confusing cause I'能够增加计数器的数量但不能增加计数器名称的长度......

EDIT 3

今天我花了很多时间调试hadoop的内部 . 一些有趣的东西：

  • org.apache.hadoop.mapred.ClientServiceDelegate#getJobCounters 方法从具有TRUNCATED名称和FULL显示名称的yarn返回一组计数器 .

  • 无法调试map和reducers本身，但是在记录的帮助下，似乎 org.apache.hadoop.mapreduce.Counter#getName 方法在reducer执行期间正常工作 .

java hadoop mapreduce yarn