"bin / mkdistro.sh -DskipTests"를 실행하는 중 Oozie 오류

http://www.thecloudavenue.com/2013/10/installation-and-configuration-of.html에 따라 oozie 4.0.1을 설치하려고합니다 하둡 버전-2.4.0 메이븐-3.0.4 sqoop-1.4.4

.......... [정보] Apache Oozie HCatalog Libs ........................ 성공 [0.399s] [정보] Apache Oozie Core ................................. FAILURE [7.819s] [정보] Apache Oozie Docs ................................. SKIPPED ......... [오류] oozie-core 프로젝트에서 목표를 실행하지 못했습니다 : org.apache.oozie : oozie-core : jar : 4.0.0 프로젝트의 종속성을 확인할 수 없습니다 : 다음 아티팩트를 해결할 수 없습니다. org.apache.oozie : oozie -hadoop-test : jar : 2.4.0.oozie-4.0.0, org.apache.oozie : oozie-hadoop : jar : 2.4.0.oozie-4.0.0, org.apache.oozie : oozie-sharelib-oozie : jar : 4.0.0-cdh5.0.2, org.apache.oozie : oozie-sharelib-hcatalog : jar : 4.0.0-cdh5.0.2 : org.apache.oozie : oozie-hadoop-test : jar를 찾을 수 없음 : htp : //repo1.maven.org/maven2의 2.4.0.oozie-4.0.0이 로컬 리포지토리에 캐시되었습니다. 중앙의 업데이트 간격이 경과하거나 업데이트가 강제 실행될 때까지 확인이 다시 시도되지 않습니다.-> [도움말 1 ] [오류] [ERROR] 오류의 전체 스택 추적을 보려면 -e 스위치를 사용하여 Maven을 다시 실행하십시오. [오류] 전체 디버그 로깅을 활성화하려면 -X 스위치를 사용하여 Maven을 다시 실행하십시오. [오류] [오류] 오류 및 가능한 해결책에 대한 자세한 내용은 다음 기사를 참조하십시오. [오류] [도움말 1] htp : //cwiki.apache.org/confluence/display/MAVEN/DependencyResolutionException [오류] [오류] 문제를 해결 한 후 다음 명령으로 빌드를 재개 할 수 있습니다 [오류] mvn -rf : oozie- 코어

누구든지 hadoop 2.4.0으로 oozie4.0.1을 시도 했습니까? 이 문제를 어떻게 해결할 수 있습니까?

해결법

==============================

1.나도 같은 문제에 직면했다.

나도 같은 문제에 직면했다.

아래 단계에서 버전을 변경하려면이 설치 단계를 수행하십시오. 필요한 버전에 따라 다릅니다.

STEP 1 : Extract the tar file using tar -xvf oozie-4.0.1.tar.gz
STEP 2 : Change the name oozie-4.0.1 to oozie using below command.
mv oozie-4.0.1 oozie
STEP 3 : Move to oozie/bin directory using cd oozie/bin Build oozie for 
             Hadoop-2.2 using below command.
mkdistro.sh -DskipTests Dhadoopversion=2
             Before build oozie we must change versions for java, hive pig, 
             sqoop in pom.xml file.
                    Java   - 1.7
                    Hive    - 0.13.0
                    Pig      - 0.12.1
                    Sqoop - 1.4.3


        Eg : <javaVersion>1.7</javaVersion>
             <targetJavaVersion>1.7</targetJavaVersion>
             <hive.version>0.13.0</hive.version>
             <pig.version>0.12.1</pig.version>
             <pig.classifier></pig.classifier>
             <sqoop.version>1.4.3</sqoop.version>
             If build is success you will get the message like 
             Oozie distro created, DATE[2014.01.05-18:55:14GMT] VC-  
               REV[unavailable], available at 
               [/home/labuser/oozie/distro/target]
             Now use the expanded oozie located in   
             /home/labuser/oozie/distro/target/oozie-4.0.1-distro/oozie-4.0.1
STEP 4 : Create a libext directory in expanded oozie and copy the 
             Hadoop-2.2.0 jar files and extjs zip file to libext directory.
STEP 5 : Set this property in Hadoop core-site.xml file.
        Eg : <property>
             <name>hadoop.proxyuser.labuser.hosts</name>
             <value>*</value>
             </property>
             <property>
             <name>hadoop.proxyuser.labuser.groups</name>
             <value>*</value>
             </property>
             Set this property in oozie-site.xml file located in conf directory
              <name>oozie.service.JPAService.create.db.schema</name>
              <value>true</value>
              By default it is false change it to true

Step 6 : Now prepare a oozie war file. So move to expanded oozie/bin 
             and run the below command. 
./oozie-setup.sh prepare-war
             If you get any error like zip: command not found then install 
             zip using following command sudo apt-get install zip
            Then again run the prepare-war command to create a file. if the
             war file created successfully you will get the message like 
                  INFO: Oozie is ready to be started
Step 7 : upload the share lib folder from expanded oozie to hdfs using the
            below command
./oozie-setup.sh sharelib create -fs hdfs://localhost:8020
Step 8 : Create a database for oozie using the command 
./oozie-setup.sh db create –run
              If database created then you will get the message like
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Validate DB Connection 
DONE 
Check DB schema does not exist 
DONE 
Check OOZIE_SYS table does not exist 
DONE 
Create SQL schema 
DONE 
Create OOZIE_SYS table 
DONE
Oozie DB has been created for Oozie version ’4.0.0′
Step 9 : Start the oozie using ./oozied.sh start


Step 10 : Check status of oozie using the below command
              ./oozie admin –oozie http://localhost:11000/oozie -status
              You will get the message like System mode: NORMAL


Issues Faced with this installation
1.  While building hive-0.13.0 share library of Oozie, there is an unsolvable dependency ‘hive-builtins’. 
Cause: Hive-builtins jar is necessary in hive-0.10.0 but in hive-0.13.0 there is no hive-builtins.jar.
Solution: Removed dependency hive-builtins
2.  While building Oozie, we faced issue with java.lang.OutOfMemoryError
Cause: This error signals that the JVM running Maven has run out of memory. It is caused by maven-compiler-plugin
Solution: Edited a maven-compiler-plugin property
<fork>true</fork>
Fork allows running the compiler in a separate process. If false it uses the built in compiler, while if true it will use an executable.

Finally we made a Oozie bulid, with above versions of  Hadoop-ecosystems.

==============================
2.같은 오류가 발생하여 hadoop-2 프로필을 Hadoop 2.4.0으로 옮길 수있는 JIRA 티켓이 있는지 확인하기 위해 Google에서 빠른 검색을 수행했습니다.

같은 오류가 발생하여 hadoop-2 프로필을 Hadoop 2.4.0으로 옮길 수있는 JIRA 티켓이 있는지 확인하기 위해 Google에서 빠른 검색을 수행했습니다.

https://issues.apache.org/jira/browse/OOZIE-1730

나는 그것이 얼마나 어려운지 알지 못하지만 빌드는 똑같은 방식으로 나에게 실패합니다.
==============================
3.참조하십시오.

참조하십시오.

4.0.1 + Hadoop 1.2.1 + Hive 0.10.0을 빌드했습니다.

QQ : Hadoop = 2.4.1이라고 말하면 oozie의 pom.xml에서 변경된 것이 있습니까?

hadoop 및 hive의 사용자 정의 버전으로 빌드 할 때
```
a. <OOZIE_BUILD_HOME>/pom.xml
b. <OOZIE_BUILD_HOME>/hadooplibs/hadoop-1/pom.xml
c. <OOZIE_BUILD_HOME>/hadooplibs/hadoop-distcp-1/pom.xml
d. <OOZIE_BUILD_HOME>/hadooplibs/hadoop-test-1/pom.xml 
```
hadoop의 기본 버전은 1.1.1이므로 원하는 모든 버전을 찾아서 바꾸십시오. 내 경우처럼 나는 1.2.1을했다.

다른 유사한 방법은 Hadoop 2와 관련된 pom.xml을 변경하는 것입니다.

궁금한 점이 있으면 알려주세요.

문안 인사, 매니쉬

from https://stackoverflow.com/questions/24429327/oozie-error-while-trying-to-execute-bin-mkdistro-sh-dskiptests by cc-by-sa and MIT license

'HADOOP' 카테고리의 다른 글

[HADOOP] 하둡 작업 제출 (0)	2019.09.09
[HADOOP] ResourceManager 및 NodeManager를 시작하는 Hadoop 오류 (0)	2019.09.09
[HADOOP] 인덱스 7에서 잘못된 문자에 대한 Hadoop, Java 예외 설치? (0)	2019.09.09
[HADOOP] 스트리밍 하둡 전역 변수 (0)	2019.09.09
[HADOOP] HDFS를 사용하지 않는 경우 데이터 지역 (0)	2019.09.09

복붙노트

[HADOOP] "bin / mkdistro.sh -DskipTests"를 실행하는 중 Oozie 오류

"bin / mkdistro.sh -DskipTests"를 실행하는 중 Oozie 오류

해결법

1.나도 같은 문제에 직면했다.

2.같은 오류가 발생하여 hadoop-2 프로필을 Hadoop 2.4.0으로 옮길 수있는 JIRA 티켓이 있는지 확인하기 위해 Google에서 빠른 검색을 수행했습니다.

3.참조하십시오.

'HADOOP' 카테고리의 다른 글

티스토리툴바