[HADOOP] Oozie 4.2에서 워크 플로 오류 로그가 비활성화되었습니다.
HADOOPOozie 4.2에서 워크 플로 오류 로그가 비활성화되었습니다.
HDP 2.3에 번들로 제공되는 Oozie 4.2를 사용하고 있습니다.
oozie 패키지와 함께 제공되는 몇 가지 예제 워크 플로로 작업하면서 "작업 오류 로그가 비활성화되었습니다"라는 사실을 알게되었으며 이로 인해 오류 발생시 디버깅이 실제로 어려워졌습니다. 아래 명령을 실행 해 보았습니다.
# oozie job -config /home/santhosh/examples/apps/hive/job.properties -run
job: 0000063-150904123805993-oozie-oozi-W
# oozie job -errorlog 0000063-150904123805993-oozie-oozi-W
오류 로그가 비활성화되었습니다!
누군가가 oozie에 대한 워크 플로 오류 로그를 활성화하는 방법을 알려주시겠습니까?
해결법
-
==============================
1.Oozie UI에서 'Job Error Log'는 Oozie v4.2의 HDP v2.3에 도입 된 탭입니다. 이것은 oozie 로그 파일에서 지정된 oozie 작업에 대한 오류를 찾는 가장 간단한 방법입니다.
Oozie UI에서 'Job Error Log'는 Oozie v4.2의 HDP v2.3에 도입 된 탭입니다. 이것은 oozie 로그 파일에서 지정된 oozie 작업에 대한 오류를 찾는 가장 간단한 방법입니다.
oozie의 작업 오류 로그를 사용하려면 oozie log4j 특성 파일에서 다음을 변경하십시오.
log4j.appender.oozieError=org.apache.log4j.rolling.RollingFileAppender log4j.appender.oozieError.RollingPolicy=org.apache.oozie.util.OozieRollingPolicy log4j.appender.oozieError.File=${oozie.log.dir}/oozie-error.log log4j.appender.oozieError.Append=true log4j.appender.oozieError.layout=org.apache.log4j.PatternLayout log4j.appender.oozieError.layout.ConversionPattern=%d{ISO8601} %5p %c{1}:%L - SERVER[${oozie.instance.id}] %m%n log4j.appender.oozieError.RollingPolicy.FileNamePattern=${log4j.appender.oozieError.File}-%d{yyyy-MM-dd-HH} log4j.appender.oozieError.RollingPolicy.MaxHistory=720 log4j.appender.oozieError.filter.1 = org.apache.log4j.varia.LevelMatchFilter log4j.appender.oozieError.filter.1.levelToMatch = WARN log4j.appender.oozieError.filter.2 = org.apache.log4j.varia.LevelMatchFilter log4j.appender.oozieError.filter.2.levelToMatch = ERROR log4j.appender.oozieError.filter.3 =`enter code here` org.apache.log4j.varia.LevelMatchFilter log4j.appender.oozieError.filter.3.levelToMatch = FATAL log4j.appender.oozieError.filter.4 = org.apache.log4j.varia.DenyAllFilter
-
==============================
2.언급 한 바와 같이, 오류 로그는 새롭고 좋은 이유로 사용할 수 없게 될 수도 있습니다. 그러나 당신은 오지 에러 로그에 대한 잘못된 기대를 가지고있는 것 같습니다.
언급 한 바와 같이, 오류 로그는 새롭고 좋은 이유로 사용할 수 없게 될 수도 있습니다. 그러나 당신은 오지 에러 로그에 대한 잘못된 기대를 가지고있는 것 같습니다.
오류 로그는 로그 파일의 서브 세트입니다. 그것에 추가되지 않습니다.
예, 디버깅하기가 더 쉬울 수도 있지만 오지 로그를 확인하고 찾고있는 것을 찾지 못하면 오류 로그가 해결책이되지 않습니다.
아마도 외부 ID를 통해 찾을 수있는 기본 작업의 로그를보고 싶을 것입니다.
from https://stackoverflow.com/questions/32397725/workflow-error-logs-disabled-in-oozie-4-2 by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Spark SQL / Hive / Presto를 사용하여 Parquet / S3에서 Redshift로 바로 복사 할 수 있습니까? (0) | 2019.08.05 |
---|---|
[HADOOP] 서브 디렉토리를 HDFS에 대해 재귀 적으로 나열하려면 어떻게합니까? (0) | 2019.08.05 |
[HADOOP] Apache Spark : SparkSql에서 SQL은 Sql Injection에 취약합니다 [duplicate] (0) | 2019.08.05 |
[HADOOP] Sqoop - YARN 대기열에 바인딩 (0) | 2019.08.05 |
[HADOOP] Hadoop SequenceFile에서 쓰기 가능한 완전한 이름 변경 처리 (0) | 2019.08.05 |