[HADOOP] Oozie 워크 플로우 하이브 조치는 RUNNING에 갇혀

Oozie 워크 플로우 하이브 조치는 RUNNING에 갇혀

나는 호튼 웍스의 배포판에서 하둡 2.4.0, Oozie 4.0.0, 하이브 0.13.0을 실행하고 있습니다.

나는 잠재적으로 모두 같은시기에 워크 플로우를 실행할 수있는 여러 Oozie 코디네이터 작업을해야합니다. 코디네이터 작업은 각각 다른 디렉토리를보고하고 _SUCCESS 파일을 해당 디렉토리에 표시 할 때 워크 플로가 시작됩니다.

워크 플로는 외부 디렉토리에서 읽고 물건을 복사 하이브 조치를 실행합니다.

SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;

DROP TABLE IF EXISTS ${INPUT_TABLE};

CREATE external TABLE IF NOT EXISTS ${INPUT_TABLE} (
       id bigint,
       data string,
       creationdate timestamp,
       datelastupdated timestamp)
LOCATION '${INPUT_LOCATION}';

-- Read from external table and insert into a partitioned Hive table
FROM ${INPUT_TABLE} ent
INSERT OVERWRITE TABLE mytable PARTITION(data)
SELECT ent.id, ent.data, ent.creationdate, ent.datelastupdated;

나는 하나 개의 워크 플로우를 실행하는 하나의 코디네이터를 실행하면 워크 플로우 및 하이브 조치는 문제없이 성공적으로 완료된다.

여러 워크 플로우가 같은시기에 시작하는 경우, 하이브 작업은 오랜 시간 동안 실행에 유지됩니다.

내가 작업 syslog를 보면,이 참조 :

2015-02-18 17:18:26,048 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskImpl: task_1423085109915_0223_m_000000 Task Transitioned from SCHEDULED to RUNNING
2015-02-18 17:18:26,586 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerRequestor: getResources() for application_1423085109915_0223: ask=3 release= 0 newContainers=0 finishedContainers=0 resourcelimit=<memory:32768, vCores:-3> knownNMs=1
2015-02-18 17:18:27,677 INFO [Socket Reader #1 for port 38704] SecurityLogger.org.apache.hadoop.ipc.Server: Auth successful for job_1423085109915_0223 (auth:SIMPLE)
2015-02-18 17:18:27,696 INFO [IPC Server handler 0 on 38704] org.apache.hadoop.mapred.TaskAttemptListenerImpl: JVM with ID : jvm_1423085109915_0223_m_000002 asked for a task
2015-02-18 17:18:27,697 INFO [IPC Server handler 0 on 38704] org.apache.hadoop.mapred.TaskAttemptListenerImpl: JVM with ID: jvm_1423085109915_0223_m_000002 given task: attempt_1423085109915_0223_m_000000_0
2015-02-18 17:18:34,951 INFO [IPC Server handler 2 on 38704] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1423085109915_0223_m_000000_0 is : 1.0
2015-02-18 17:19:05,060 INFO [IPC Server handler 11 on 38704] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1423085109915_0223_m_000000_0 is : 1.0
2015-02-18 17:19:35,161 INFO [IPC Server handler 28 on 38704] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1423085109915_0223_m_000000_0 is : 1.0
2015-02-18 17:20:05,262 INFO [IPC Server handler 2 on 38704] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1423085109915_0223_m_000000_0 is : 1.0
2015-02-18 17:20:35,358 INFO [IPC Server handler 11 on 38704] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1423085109915_0223_m_000000_0 is : 1.0
2015-02-18 17:21:02,452 INFO [IPC Server handler 23 on 38704] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1423085109915_0223_m_000000_0 is : 1.0
2015-02-18 17:21:32,545 INFO [IPC Server handler 1 on 38704] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1423085109915_0223_m_000000_0 is : 1.0
2015-02-18 17:22:02,668 INFO [IPC Server handler 12 on 38704] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1423085109915_0223_m_000000_0 is : 1.0 

그냥 반복해서 "TaskAttempt의 진행 인쇄"를 유지했다.

우리의 원사를 site.xml이를 사용하도록 구성되어 있습니다 :

    <property>
      <name>yarn.resourcemanager.scheduler.class</name>
      <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>

대신 다른 스케줄러를 사용하여 내가해야 하는가?

이 시점에서 나는 문제가 Oozie 또는 하이브에 있는지 확실하지 않다.

해결법

1. ==============================

   1.이것이 여기에 나열된 심장 박동 문제와 같은 문제가 밝혀 :

   이것이 여기에 나열된 심장 박동 문제와 같은 문제가 밝혀 :

   OOZIE-4.1.0에서 여러 워크 플로 실행에 대한 오류

   위의 포스트에서 언급 한대로 FairScheduler에 스케줄러를 변경 한 후, 여러 개의 워크 플로우를 실행할 수 있었다.

from https://stackoverflow.com/questions/28591123/oozie-workflow-hive-action-stuck-in-running by cc-by-sa and MIT license