[HADOOP] oozie를 통한 sqoop 내보내기 실패

oozie를 통한 sqoop 내보내기 실패

hdfs에서 sqoop을 통해 mysql로 ​​데이터를 내보내려고합니다. 쉘을 통해 sqoop을 실행할 수 있으며 정상적으로 작동합니다. 하지만 내가 oozie를 통해 호출 할 때. 다음과 같은 오류가 발생하여 실패합니다. 나는 또한 항아리를 포함시켰다. 결정적인 로그가 없습니다

sqoop 스크립트 :

export  --connect jdbc:mysql://localhost/bigdata --username root --password cloudera --verbose --table AGGREGATED_METRICS --input-fields-terminated-by '\0001' --export-dir /bigdata/aggregated_metrics

오류:

Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]

해결법

1. ==============================

   1.Oozie에서 볼 수있는 오류는 일반적으로 많은 세부 사항을 제공하지 않습니다. 무엇이 잘못되었는지에 대한 자세한 정보를 얻으려면 Oozie 조치에서 job_id를 가져 와서 JobTracker 로그에서 검색하십시오. 거기에 더 자세한 설명이 있습니다.

   Oozie에서 볼 수있는 오류는 일반적으로 많은 세부 사항을 제공하지 않습니다. 무엇이 잘못되었는지에 대한 자세한 정보를 얻으려면 Oozie 조치에서 job_id를 가져 와서 JobTracker 로그에서 검색하십시오. 거기에 더 자세한 설명이 있습니다.

2. ==============================

   2.모든 의존성을 가진 Sqoop jar를 Oozie (공유 디렉토리 또는 특정 워크 플로우)에 설치해야한다고 생각합니다.

   모든 의존성을 가진 Sqoop jar를 Oozie (공유 디렉토리 또는 특정 워크 플로우)에 설치해야한다고 생각합니다.

3. ==============================

   3.나는이 같은 문제가 있었다. mysql-connector-java.jar 라이브러리를 job.properties 및 workflow.xml 파일이있는 oozie 프로젝트 루트 디렉토리 안에있는 lib 디렉토리에 추가하면이 문제가 사라졌습니다.

   나는이 같은 문제가 있었다. mysql-connector-java.jar 라이브러리를 job.properties 및 workflow.xml 파일이있는 oozie 프로젝트 루트 디렉토리 안에있는 lib 디렉토리에 추가하면이 문제가 사라졌습니다.

4. ==============================

   4.예, mysql-connector-java-*. jar를 workflow lib 디렉토리에 추가하면 문제가 해결됩니다. 그러나 각 sqoop 작업에 대한 jar을 복사하기가 어렵습니다.

   예, mysql-connector-java-*. jar를 workflow lib 디렉토리에 추가하면 문제가 해결됩니다. 그러나 각 sqoop 작업에 대한 jar을 복사하기가 어렵습니다.

   mysql-connector-java-*. jar를 한 번 추가하여 HDFS의 share / lib / sqoop 디렉토리를 추가하는 것이 좋습니다.

5. ==============================

   5.오류 메시지가 여기에 충분하지 않습니다. 또 다른 것은 워크 플로 sqoop 작업에서 사용을 시도 할 수 있다는 것입니다.

   오류 메시지가 여기에 충분하지 않습니다. 또 다른 것은 워크 플로 sqoop 작업에서 사용을 시도 할 수 있다는 것입니다.

   \0001
   

   대신에

   '\0001'
   

from https://stackoverflow.com/questions/11555344/sqoop-export-fail-through-oozie by cc-by-sa and MIT license