[HADOOP] Hadoop의 로깅 수준을 WARN으로 설정

Hadoop의 로깅 수준을 WARN으로 설정

Hadoop의 로깅 수준을 WARN으로 설정하는 여러 가지 방법을 시도했지만 매번 실패했습니다. 첫째, "INFO"를 "WARN"으로 대체하여 log4j.properties 파일을 구성하려고했습니다. 결과가 없다.

다음으로, Hadoop UNIX 명령을 제공하려고 시도했습니다 (http://hadoop.apache.org/common/docs/current/commands_manual.html#daemonlog에 따라).

$ hadoop daemonlog -setlevel

실제로 SOURCE CODE가 작동하도록 변경할 수 있습니까? 로깅은 종종 제어하기 쉽고, 대부분의 경우 로깅 속성을 약간 조정하면 일반적으로 수행됩니다 ...

해결법

1. ==============================

   1.나는 오히려 사용한다.

   나는 오히려 사용한다.

   hadoop-env.sh에서

   또는 log4j.properties에서 hadoop.root.logger를 사용할 수 있습니다.

   DRFA는 콘솔 -> System.err / out이 아닌 File Appender로 로그를 보낼 수 있습니다.

2. ==============================

   2.로그 레벨을 동적으로 변경하여 hadoop daemonlog 유틸리티를 사용하여 데몬을 다시 시작하지 않아도됩니다.

   로그 레벨을 동적으로 변경하여 hadoop daemonlog 유틸리티를 사용하여 데몬을 다시 시작하지 않아도됩니다.

       hadoop daemonlog -setlevel hostname:port className logLevel
   

   예를 들어 데이터 노드 로그의 로그 수준을 WARN으로 변경합니다.

       hadoop daemonlog -setlevel hostname:50075 org.apache.hadoop.hdfs.server.datanode.DataNode WARN
   

3. ==============================

   3.기본 로그 레벨은 conf / log4j.properties 구성 파일의 hadoop.root.logger 등록 정보를 수정하여 조정할 수 있습니다. 클러스터의 모든 노드에 대해이 작업을 수행해야합니다.

   기본 로그 레벨은 conf / log4j.properties 구성 파일의 hadoop.root.logger 등록 정보를 수정하여 조정할 수 있습니다. 클러스터의 모든 노드에 대해이 작업을 수행해야합니다.

   conf / log4j.properties의 예제 행 :

   hadoop.root.logger=WARN,console
   

4. ==============================

   4.Apache hadoop 문서는 약간 오도 된 내용입니다. 디버깅 문제를하는 경우 아래 단계를 사용하여 즉시 로그 수준을 변경할 수 있습니다. 파일 이름 대신 패키지 이름을 언급해야합니다.

   Apache hadoop 문서는 약간 오도 된 내용입니다. 디버깅 문제를하는 경우 아래 단계를 사용하여 즉시 로그 수준을 변경할 수 있습니다. 파일 이름 대신 패키지 이름을 언급해야합니다.

   예 : 네임 노드의 경우 : hadoop daemonlog -setlevel lxv-centos-01 : 50070 org.apache.hadoop.hdfs.server.namenode DEBUG

   Resourcemanager yarn daemonlog -setlevel lxv-centos-01 : 8088 org.apache.hadoop.yarn.server.resourcemanager DEBUG

   위의 설정은 프로세스를 다시 시작할 때 사라집니다. 이것은 디버깅 문제에 대한 임시 해결 방법입니다.

from https://stackoverflow.com/questions/8975609/setting-the-logging-level-in-hadoop-to-warn by cc-by-sa and MIT license