[HADOOP] HIVE에서 쿼리를 실행할 때 Tez 작업 이름을 변경하는 방법
HADOOPHIVE에서 쿼리를 실행할 때 Tez 작업 이름을 변경하는 방법
아래처럼 Tez을 사용하여 하이브 SQL을 제출할 때 :
hive (default)> select count(*) from simple_data;
Resource Manager UI에서 작업 이름은 HIVE-9d1906a2-25dd-4a7c-9ea3-bf651036c7eb과 같은 형식으로 표시됩니다. tomy_job_nam 작업 이름을 변경하는 방법이 있습니까?
Tez을 사용하지 않고 MR에서 작업을 실행하는 경우 set mapred.job.name을 사용하여 작업 이름을 설정할 수 있습니다.
작업 이름을 변경하기 위해 설정해야하는 Tez 매개 변수가 있습니까?
모든 입력을 부탁드립니다.
해결법
-
==============================
1."set hiveconf hive.query.name = myjobname"을 사용할 수 있지만 TEZ보기에서만 이름을 볼 수 있습니다. 원사가 아닙니다. 아래 링크를 참조하십시오. https : //community.hortonworks.com/questions/5309/how-to-set-tez-job-name.html이 문제도 조사 중입니다. 해결책을 찾으면 질문을 업데이트합니다.
"set hiveconf hive.query.name = myjobname"을 사용할 수 있지만 TEZ보기에서만 이름을 볼 수 있습니다. 원사가 아닙니다. 아래 링크를 참조하십시오. https : //community.hortonworks.com/questions/5309/how-to-set-tez-job-name.html이 문제도 조사 중입니다. 해결책을 찾으면 질문을 업데이트합니다.
-
==============================
2.이걸 알아 냈어. "hive.session.id"를 사용하면 이름을 변경할 수 있습니다. 아래는 그 예입니다.
이걸 알아 냈어. "hive.session.id"를 사용하면 이름을 변경할 수 있습니다. 아래는 그 예입니다.
hive - hiveconf hive.session.id = test_date '+ % Y % m % d_ % H % M % S'-e "월별 simple_data 그룹에서 월, 최대 (판매) 선택;
-
==============================
3.좋은 질문. HIRVE-12811 - 거기에 spark.app.name을 사용할 수 있습니다. 하이브 2.1에 착륙했다.
좋은 질문. HIRVE-12811 - 거기에 spark.app.name을 사용할 수 있습니다. 하이브 2.1에 착륙했다.
테즈의 하이브에 대한 구체적인 것을 찾을 수 없습니다. 아마 누군가 하이브 -12811과 비슷한 하이브라 지라 / 패치를 제출할 필요가 있습니다.
-
==============================
4.set hive.query.name = "test_query";
set hive.query.name = "test_query";
TEZ와 하이브에서 작동합니다.
-
==============================
5.set mapred.job.name =보다 유용한 이름
set mapred.job.name =보다 유용한 이름
from https://stackoverflow.com/questions/33422749/how-to-change-tez-job-name-when-running-query-in-hive by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] hbase.hregion.max.filesize를 사용하여 HBase 영역 자동 분할 (0) | 2019.07.26 |
---|---|
[HADOOP] Hadoop지도를 어떻게 디버그 할 수 있습니까? (0) | 2019.07.26 |
[HADOOP] Namenode-HDFS에 대한 "Connection refused"오류 (Hadoop 문제) (0) | 2019.07.26 |
[HADOOP] MapReduce 출력 ArrayWritable (0) | 2019.07.26 |
[HADOOP] 빈 값 또는 NULL 값을 HIVE 쿼리 결과의 특정 값으로 바꿉니다. (0) | 2019.07.26 |