[HADOOP] Oozie> 자바 작업> 왜 oozie.launcher.mapred.child.java.opts 프로퍼티가 작동하지 않는가?
HADOOPOozie> 자바 작업> 왜 oozie.launcher.mapred.child.java.opts 프로퍼티가 작동하지 않는가?
Oozie와 Java 작업을 함께하고 있습니다. Java 작업은 Java 옵션 -Xmx15g를 사용해야합니다. 따라서 추가 메모리가 필요한 경우에 대비하여 oozie.mapreduce.map.memory.mb 속성을 25600 (25G)으로 설정했습니다.
이 간단한 설정이 끝나면 Oozie 작업을 실행 한 다음 Java 런타임 중에 OutofMemory (공간 부족 힙) 오류가 발생했습니다.
그래서 oazie.launcher.mapred.child.java.opts를 -Xmx15g로 설정합니다. http://downright-amazed.blogspot.fi/2012/02/configure-oozies 링크를 기반으로 Java 작업의 속성 노드에서 -launcher-job.html. 하지만 여전히 OutofMemory 오류가 있습니다. 그런 다음 Java 작업 노드 내부의 노드 java-opts에 -Xmx15g를 추가하려고했습니다. 이것은 정상적으로 작동했지만, 그렇다면 도대체 무엇이 여전히 oozie.launcher.mapred.child.java.opts 속성입니까?
왜 그렇게 생각하는지 누구나 압니까? 그것이 왜 그런지에 대한 의견을 좀주세요. 미리 감사드립니다.
나는 Oozie가 편리한 툴이 아니라고 정말로 느낍니다.
해결법
-
==============================
1.mapred.child.java.opts에서 "작업"이 의미하는 것이 확실하지 않습니다.
mapred.child.java.opts에서 "작업"이 의미하는 것이 확실하지 않습니다.
이 예제에서와 같이 mapreduce.map.java.opts를 대신 사용해보십시오.
<configuration> <property> <name>oozie.launcher.mapreduce.map.memory.mb</name> <value>16384</value> </property> <property> <name>oozie.launcher.mapreduce.map.java.opts</name> <value>-Xmx15g</value> </property> <property> <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name> <value>768</value> </property> <property> <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name> <value>-Xmx512m</value> </property> <property> <name>oozie.launcher.mapred.job.queue.name</name> <value>default</value> </property> </configuration>
from https://stackoverflow.com/questions/33961310/oozie-java-action-why-property-oozie-launcher-mapred-child-java-opts-does-no by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 자바 런타임 오류 : java.lang.UnsupportedClassVersionError. 지원되지 않는 major.minor 버전 51.0 (0) | 2019.06.12 |
---|---|
[HADOOP] 하나의 mapreduce 프로그램을 다른 mapreduce 프로그램에 입력으로 출력 (0) | 2019.06.12 |
[HADOOP] 원격 Windows 시스템에서 jdbc를 사용하여 kerberised 하이브에 연결 (0) | 2019.06.12 |
[HADOOP] 날짜를 변환하는 방법 2017-sep-12 2017-09-12에서 HIVE (0) | 2019.06.12 |
[HADOOP] Spark SQL saveAsTable이 빈 결과를 반환합니다. (0) | 2019.06.12 |