복붙노트

[HADOOP] Oozie 4.2에서 워크 플로 오류 로그가 비활성화되었습니다.

HADOOP

Oozie 4.2에서 워크 플로 오류 로그가 비활성화되었습니다.

HDP 2.3에 번들로 제공되는 Oozie 4.2를 사용하고 있습니다.

oozie 패키지와 함께 제공되는 몇 가지 예제 워크 플로로 작업하면서 "작업 오류 로그가 비활성화되었습니다"라는 사실을 알게되었으며 이로 인해 오류 발생시 디버깅이 실제로 어려워졌습니다. 아래 명령을 실행 해 보았습니다.

# oozie job -config /home/santhosh/examples/apps/hive/job.properties -run
job: 0000063-150904123805993-oozie-oozi-W

# oozie job -errorlog 0000063-150904123805993-oozie-oozi-W

오류 로그가 비활성화되었습니다!

누군가가 oozie에 대한 워크 플로 오류 로그를 활성화하는 방법을 알려주시겠습니까?

해결법

  1. ==============================

    1.Oozie UI에서 'Job Error Log'는 Oozie v4.2의 HDP v2.3에 도입 된 탭입니다. 이것은 oozie 로그 파일에서 지정된 oozie 작업에 대한 오류를 찾는 가장 간단한 방법입니다.

    Oozie UI에서 'Job Error Log'는 Oozie v4.2의 HDP v2.3에 도입 된 탭입니다. 이것은 oozie 로그 파일에서 지정된 oozie 작업에 대한 오류를 찾는 가장 간단한 방법입니다.

    oozie의 작업 오류 로그를 사용하려면 oozie log4j 특성 파일에서 다음을 변경하십시오.

    log4j.appender.oozieError=org.apache.log4j.rolling.RollingFileAppender
    log4j.appender.oozieError.RollingPolicy=org.apache.oozie.util.OozieRollingPolicy
    log4j.appender.oozieError.File=${oozie.log.dir}/oozie-error.log
    log4j.appender.oozieError.Append=true
    log4j.appender.oozieError.layout=org.apache.log4j.PatternLayout
    log4j.appender.oozieError.layout.ConversionPattern=%d{ISO8601} %5p %c{1}:%L - SERVER[${oozie.instance.id}] %m%n
    log4j.appender.oozieError.RollingPolicy.FileNamePattern=${log4j.appender.oozieError.File}-%d{yyyy-MM-dd-HH}
    log4j.appender.oozieError.RollingPolicy.MaxHistory=720
    log4j.appender.oozieError.filter.1 = org.apache.log4j.varia.LevelMatchFilter
    log4j.appender.oozieError.filter.1.levelToMatch = WARN
    log4j.appender.oozieError.filter.2 = org.apache.log4j.varia.LevelMatchFilter
    log4j.appender.oozieError.filter.2.levelToMatch = ERROR
    log4j.appender.oozieError.filter.3 =`enter code here` org.apache.log4j.varia.LevelMatchFilter
    log4j.appender.oozieError.filter.3.levelToMatch = FATAL
    log4j.appender.oozieError.filter.4 = org.apache.log4j.varia.DenyAllFilter 
    
  2. ==============================

    2.언급 한 바와 같이, 오류 로그는 새롭고 좋은 이유로 사용할 수 없게 될 수도 있습니다. 그러나 당신은 오지 에러 로그에 대한 잘못된 기대를 가지고있는 것 같습니다.

    언급 한 바와 같이, 오류 로그는 새롭고 좋은 이유로 사용할 수 없게 될 수도 있습니다. 그러나 당신은 오지 에러 로그에 대한 잘못된 기대를 가지고있는 것 같습니다.

    오류 로그는 로그 파일의 서브 세트입니다. 그것에 추가되지 않습니다.

    예, 디버깅하기가 더 쉬울 수도 있지만 오지 로그를 확인하고 찾고있는 것을 찾지 못하면 오류 로그가 해결책이되지 않습니다.

    아마도 외부 ID를 통해 찾을 수있는 기본 작업의 로그를보고 싶을 것입니다.

  3. from https://stackoverflow.com/questions/32397725/workflow-error-logs-disabled-in-oozie-4-2 by cc-by-sa and MIT license