복붙노트

[HADOOP] Oozie> 자바 작업> 왜 oozie.launcher.mapred.child.java.opts 프로퍼티가 작동하지 않는가?

HADOOP

Oozie> 자바 작업> 왜 oozie.launcher.mapred.child.java.opts 프로퍼티가 작동하지 않는가?

Oozie와 Java 작업을 함께하고 있습니다. Java 작업은 Java 옵션 -Xmx15g를 사용해야합니다. 따라서 추가 메모리가 필요한 경우에 대비하여 oozie.mapreduce.map.memory.mb 속성을 25600 (25G)으로 설정했습니다.

이 간단한 설정이 끝나면 Oozie 작업을 실행 한 다음 Java 런타임 중에 OutofMemory (공간 부족 힙) 오류가 발생했습니다.

그래서 oazie.launcher.mapred.child.java.opts를 -Xmx15g로 설정합니다. http://downright-amazed.blogspot.fi/2012/02/configure-oozies 링크를 기반으로 Java 작업의 속성 노드에서 -launcher-job.html. 하지만 여전히 OutofMemory 오류가 있습니다. 그런 다음 Java 작업 노드 내부의 노드 java-opts에 -Xmx15g를 추가하려고했습니다. 이것은 정상적으로 작동했지만, 그렇다면 도대체 무엇이 여전히 oozie.launcher.mapred.child.java.opts 속성입니까?

왜 그렇게 생각하는지 누구나 압니까? 그것이 왜 그런지에 대한 의견을 좀주세요. 미리 감사드립니다.

나는 Oozie가 편리한 툴이 아니라고 정말로 느낍니다.

해결법

  1. ==============================

    1.mapred.child.java.opts에서 "작업"이 의미하는 것이 확실하지 않습니다.

    mapred.child.java.opts에서 "작업"이 의미하는 것이 확실하지 않습니다.

    이 예제에서와 같이 mapreduce.map.java.opts를 대신 사용해보십시오.

    <configuration>
        <property>
          <name>oozie.launcher.mapreduce.map.memory.mb</name>
          <value>16384</value>
        </property>
        <property>
          <name>oozie.launcher.mapreduce.map.java.opts</name>
          <value>-Xmx15g</value>
        </property>
        <property>
          <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
          <value>768</value>
        </property>
        <property>
          <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
          <value>-Xmx512m</value>
        </property>
        <property>
          <name>oozie.launcher.mapred.job.queue.name</name>
          <value>default</value>
        </property>
    </configuration>
    
  2. from https://stackoverflow.com/questions/33961310/oozie-java-action-why-property-oozie-launcher-mapred-child-java-opts-does-no by cc-by-sa and MIT license