[HADOOP] Sqoop - YARN 대기열에 바인딩
HADOOPSqoop - YARN 대기열에 바인딩
따라서 mapreduce v2를 사용하면 특정 YARN 대기열에 바인딩을 사용하여 자원 및 우선 순위를 관리 할 수 있습니다. 기본적으로
"hadoop jar /xyz.jar -D mapreduce.job.queuename = QUEUE1 / input / output"완벽하게 작동합니다.
sqoop 쿼리를 실행할 때 얀 큐 바인딩을 Sqoop과 어떻게 통합 할 수 있습니까?
즉. sqoop import \ --connect 'jdbc : // server'\ --target-dir \ 그리고 무엇?
해결법
-
==============================
1.Sqoop에 대해서도 동일한 방법을 사용합니다.
Sqoop에 대해서도 동일한 방법을 사용합니다.
sqoop import -Dmapreduce.job.queuename=NameOfTheQueue\ --connect 'jdbc://server' \ --target-dir \
mapreduce.job.queuename 매개 변수는 가져 오기 후, 연결 또는 다른 옵션 앞에 사용해야합니다.
from https://stackoverflow.com/questions/29607451/sqoop-binding-to-yarn-queues by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Oozie 4.2에서 워크 플로 오류 로그가 비활성화되었습니다. (0) | 2019.08.05 |
---|---|
[HADOOP] Apache Spark : SparkSql에서 SQL은 Sql Injection에 취약합니다 [duplicate] (0) | 2019.08.05 |
[HADOOP] Hadoop SequenceFile에서 쓰기 가능한 완전한 이름 변경 처리 (0) | 2019.08.05 |
[HADOOP] 임베디드 모드에서 스파크 - 사용자 / 하이브 /웨어 하우스를 찾을 수 없음 (0) | 2019.08.05 |
[HADOOP] 하이브의지도 수집 (0) | 2019.08.05 |