[HADOOP] 콘솔에서 Hadoop 로깅 메시지를 표시하지 않는 방법

콘솔에서 Hadoop 로깅 메시지를 표시하지 않는 방법

이것들은 내가 억제하려고했던 Hadoop Logging Message입니다.

11/10/17 19:42:23 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)
11/10/17 19:42:23 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100
11/10/17 19:42:23 INFO mapred.MapTask: soft limit at 83886080
11/10/17 19:42:23 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600
11/10/17 19:42:23 INFO mapred.MapTask: kvstart = 26214396; length = 6553600

그것들은 conf 디렉토리 아래 logg 4j.properties에 의해 구성되었다고 가정합니다. hadoop 설치 디렉토리 아래에 있습니다. 로거를 제거하는 방법에 관계없이 의견 로거를 로그 아웃하고 log4j.properties의 이름을 바꾸십시오. 그들은 여전히 ​​인쇄되고 있습니다. 조언 부탁드립니다.

또한 볼륨이 크면 이러한 대용량 메시지가 전체 성능에 영향을 줄 것으로 생각됩니다.    감사,

해결법

1. ==============================

   1.로그 레벨을 WARN으로 늘려야합니다. 현재 INFO에 있다고 가정합니다. 속성이 jar에 포함되어 있기 때문에 다시 컴파일해야 할 수도 있습니다.

   로그 레벨을 WARN으로 늘려야합니다. 현재 INFO에 있다고 가정합니다. 속성이 jar에 포함되어 있기 때문에 다시 컴파일해야 할 수도 있습니다.

2. ==============================

   2.이것에 대한 해결책을 찾았습니다. 필요한 것은 mapreduce의 구성 파일을 변경하는 것입니다.

   이것에 대한 해결책을 찾았습니다. 필요한 것은 mapreduce의 구성 파일을 변경하는 것입니다.

   mapred-site.xml에서 다음 속성을 설정해야합니다.

   <property>
   <name>mapreduce.map.log.level</name>
   <value>OFF</value>
   </property>
   
   
   <property>
   <name>mapreduce.reduce.log.level</name>
   <value>OFF</value>
   </property>
   

   이제 콘솔에 로그 메시지가 표시되지 않지만 로그 메시지가 표시되지 않아 mapreduce 코드를 실행하는 동안 오류가 발생하면 오류를 파악할 수 없으므로 단점이 있습니다.

from https://stackoverflow.com/questions/7801610/how-to-suppress-hadoop-logging-message-on-the-console by cc-by-sa and MIT license