[HADOOP] 특정 큐에서 sqoop 작업 실행

특정 큐에서 sqoop 작업 실행

특정 대기열에서 실행되는 Sqoop 작업을 만들려고하는데 작동하지 않습니다.

나는 두 가지를 시도했다.

첫 번째 : 작업 생성시 대기열 선언

sqoop job \
         --create myjob \
         -- import \
         --connect jdbc:teradata://RCT/DATABASE=MYDB \
         -Dmapred.job.queue.name=shortduration \
         --driver com.teradata.jdbc.TeraDriver \
         --username DBUSER -P \
         --query "$query" \
         --target-dir /data/source/dest/$i \
         --check-column DAT_CRN_AGG \
         --incremental  append \
         --last-value 2001-01-01 \
         --split-by NUM_CTR

그러나 -Dmapred.job.queue.name = shortduration으로 인해 구문 분석 인수 오류가 발생합니다.

두 번째 : 작업 생성의 -Dmapred.job.queue.name = shortduration을 제거하십시오. 일자리 창출이 잘됩니다. 그러나 어떤 큐가 사용되어야 하는지를 지정할 수 없다.

이 대기열에서 내 직업을 돌릴 희망이 없어.

제공된 모든 도움에 감사드립니다!

편집 : sqoop 가져 오기 작업 가져 오기 가져 오기 -Dmapred.job.queue.name = shortduration하지만 sqoop 작업이 작동하지 않습니다.

해결법

1. ==============================

   1.네 명령에 오류가 있다고 생각해.

   네 명령에 오류가 있다고 생각해.

   -Dmapreduce.job.queuename=NameOfTheQueue
   

   참고 queuename 한 단어와 주문, 설명서를 기반으로, VM을 args 가져 오기 직후 이동해야합니다.

   https://sqoop.apache.org/docs/1.4.3/SqoopUserGuide.html#_using_generic_and_specific_arguments

   sqoop job -Dmapred.job.queuename=shortduration \
            --create myjob \
            -- import  \
            --connect jdbc:teradata://RCT/DATABASE=MYDB \
            --driver com.teradata.jdbc.TeraDriver \
            --username DBUSER -P \
            --query "$query" \
            --target-dir /data/source/dest/$i \
            --check-column DAT_CRN_AGG \
            --incremental  append \
            --last-value 2001-01-01 \
            --split-by NUM_CTR
   

   가져 오기 도구를 사용하여 올바르게 작동하는지 확인한 다음 작업 명령을 수행 할 수 있습니다.

   sqoop import -Dmapred.job.queuename=shortduration \
            --connect jdbc:teradata://RCT/DATABASE=MYDB \
            --driver com.teradata.jdbc.TeraDriver \
            --username DBUSER -P \
            --query "$query" \
            --target-dir /data/source/dest/$i \
            --check-column DAT_CRN_AGG \
            --incremental  append \
            --last-value 2001-01-01 \
            --split-by NUM_CTR
   

from https://stackoverflow.com/questions/37676075/run-a-sqoop-job-on-a-specific-queue by cc-by-sa and MIT license