[HADOOP] org.apache.hadoop.mapreduce.counters.LimitExceededException : 너무 많은 카운터 : 121 max = 120

org.apache.hadoop.mapreduce.counters.LimitExceededException : 너무 많은 카운터 : 121 max = 120

나는 카운터가 거의없는 멀티 태스킹 (hozo job)을하고있다.

다음과 같은 오류가 발생합니다. org.apache.hadoop.mapreduce.counters.LimitExceededException : 너무 많은 카운터 : 121 max = 120

그런 다음 카운터가있는 모든 코드를 제거하고 mout.setCountersEnabled를 false로 설정합니다. 그리고 또한 최대 카운터를 hadoop 설정에서 240으로 설정하십시오.

이제 여전히 동일한 오류가 발생합니다. org.apache.hadoop.mapreduce.counters.LimitExceededException : 너무 많은 카운터 : 241 최대 = 240

이 문제를 어떻게 해결할 수 있습니까? 숨겨진 카운터가 존재할 가능성이 있습니까? 240 번이 넘는 카운터가 무엇인지 명확하게 할 수 있습니까? (아무것도 인쇄하기 전에 프로세스가 중지 된 것처럼 보입니까?)

감사, 신송

해결법

1. ==============================

   1.문제를 해결하려면 다음 방법을 사용하십시오. vi $ HADOOP_HOME / conf / mapred-site.xml

   문제를 해결하려면 다음 방법을 사용하십시오. vi $ HADOOP_HOME / conf / mapred-site.xml

   <property>
       <name>mapreduce.job.counters.limit</name>
       <!--<value>120</value>-->
      <value>20000</value>
       <description>Limit on the number of counters allowed per job. The default value is 200.</description>
   </property>
   

2. ==============================

   2.이유가 있어요. 그것은 다중 출력이기 때문에 기본적으로 각 다중 출력에는 카운터가 있습니다. 변경 후 더 많은 다중 출력이 있으므로 오류를 초과합니다.

   이유가 있어요. 그것은 다중 출력이기 때문에 기본적으로 각 다중 출력에는 카운터가 있습니다. 변경 후 더 많은 다중 출력이 있으므로 오류를 초과합니다.

from https://stackoverflow.com/questions/20899050/org-apache-hadoop-mapreduce-counters-limitexceededexception-too-many-counters by cc-by-sa and MIT license