[HADOOP] Oozie HDP 2.1을 통한 작업은 job.splitmetainfo를 만들지 않습니다.

Oozie HDP 2.1을 통한 작업은 job.splitmetainfo를 만들지 않습니다.

내 Hadoop 프로그램이 -jarFiles 매개 변수에서 jar 파일로 전달 된 sqoop 작업을 실행하려고하면 실행이 아래 오류와 함께 시작됩니다. 어떤 해상도도 사용할 수없는 것 같습니다. 동일한 Hadoop 사용자를 가진 다른 작업이 성공적으로 실행되고 있습니다.

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.io.FileNotFoundException: File does not exist: hdfs://sandbox.hortonworks.com:8020/user/root/.staging/job_1423050964699_0003/job.splitmetainfo
    at org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl$InitTransition.createSplits(JobImpl.java:1541)
    at org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl$InitTransition.transition(JobImpl.java:1396)
    at org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl$InitTransition.transition(JobImpl.java:1363)
    at org.apache.hadoop.yarn.state.StateMachineFactory$MultipleInternalArc.doTransition(StateMachineFactory.java:385)
    at org.apache.hadoop.yarn.state.StateMachineFactory.doTransition(StateMachineFactory.java:302)
    at org.apache.hadoop.yarn.state.StateMachineFactory.access$300(StateMachineFactory.java:46)
    at org.apache.hadoop.yarn.state.StateMachineFactory$InternalStateMachine.doTransition(StateMachineFactory.java:448)
    at org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl.handle(JobImpl.java:976)
    at org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl.handle(JobImpl.java:135)
    at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$JobEventDispatcher.handle(MRAppMaster.java:1241)
    at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.serviceStart(MRAppMaster.java:1041)
    at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
    at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$1.run(MRAppMaster.java:1452)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
    at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.initAndStartAppMaster(MRAppMaster.java:1448)
    at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1381)

해결법

1. ==============================

   1.여기에 내가 해결 한 방법이 있습니다. 우리는 kafka에서 데이터를 가져 오기 위해 Camus를 실행하기 위해 CDH5를 사용하고 있습니다. comman 라인을 사용하여 kafka에서 데이터를 가져 오는 책임을 가진 CamusJob을 실행합니다.

   여기에 내가 해결 한 방법이 있습니다. 우리는 kafka에서 데이터를 가져 오기 위해 Camus를 실행하기 위해 CDH5를 사용하고 있습니다. comman 라인을 사용하여 kafka에서 데이터를 가져 오는 책임을 가진 CamusJob을 실행합니다.

   hadoop jar...
   

   문제는 새로운 호스트가 소위 "yarn-gateway"를 얻지 못했다는 것입니다. 서비스와 관련되고 / etc / hadoop / conf에 복사 된 구성의 Cloudera 이름 팩 "게이트웨이"로. CM UI에서 "클라이언트 구성 배포"를 클릭했습니다. YARN 클라이언트 conf가 각 YARN NodeManager 노드에 복사되었으며 문제가 해결되었습니다.

from https://stackoverflow.com/questions/28337183/job-via-oozie-hdp-2-1-not-creating-job-splitmetainfo by cc-by-sa and MIT license