복붙노트

[HADOOP] HIVE에서 쿼리를 실행할 때 Tez 작업 이름을 변경하는 방법

HADOOP

HIVE에서 쿼리를 실행할 때 Tez 작업 이름을 변경하는 방법

아래처럼 Tez을 사용하여 하이브 SQL을 제출할 때 :

hive (default)> select count(*) from simple_data;

Resource Manager UI에서 작업 이름은 HIVE-9d1906a2-25dd-4a7c-9ea3-bf651036c7eb과 같은 형식으로 표시됩니다. tomy_job_nam 작업 이름을 변경하는 방법이 있습니까?

Tez을 사용하지 않고 MR에서 작업을 실행하는 경우 set mapred.job.name을 사용하여 작업 이름을 설정할 수 있습니다.

작업 이름을 변경하기 위해 설정해야하는 Tez 매개 변수가 있습니까?

모든 입력을 부탁드립니다.

해결법

  1. ==============================

    1."set hiveconf hive.query.name = myjobname"을 사용할 수 있지만 TEZ보기에서만 이름을 볼 수 있습니다. 원사가 아닙니다. 아래 링크를 참조하십시오. https : //community.hortonworks.com/questions/5309/how-to-set-tez-job-name.html이 문제도 조사 중입니다. 해결책을 찾으면 질문을 업데이트합니다.

    "set hiveconf hive.query.name = myjobname"을 사용할 수 있지만 TEZ보기에서만 이름을 볼 수 있습니다. 원사가 아닙니다. 아래 링크를 참조하십시오. https : //community.hortonworks.com/questions/5309/how-to-set-tez-job-name.html이 문제도 조사 중입니다. 해결책을 찾으면 질문을 업데이트합니다.

  2. ==============================

    2.이걸 알아 냈어. "hive.session.id"를 사용하면 이름을 변경할 수 있습니다. 아래는 그 예입니다.

    이걸 알아 냈어. "hive.session.id"를 사용하면 이름을 변경할 수 있습니다. 아래는 그 예입니다.

    hive - hiveconf hive.session.id = test_date '+ % Y % m % d_ % H % M % S'-e "월별 simple_data 그룹에서 월, 최대 (판매) 선택;

  3. ==============================

    3.좋은 질문. HIRVE-12811 - 거기에 spark.app.name을 사용할 수 있습니다. 하이브 2.1에 착륙했다.

    좋은 질문. HIRVE-12811 - 거기에 spark.app.name을 사용할 수 있습니다. 하이브 2.1에 착륙했다.

    테즈의 하이브에 대한 구체적인 것을 찾을 수 없습니다. 아마 누군가 하이브 -12811과 비슷한 하이브라 지라 / 패치를 제출할 필요가 있습니다.

  4. ==============================

    4.set hive.query.name = "test_query";

    set hive.query.name = "test_query";

    TEZ와 하이브에서 작동합니다.

  5. ==============================

    5.set mapred.job.name =보다 유용한 이름

    set mapred.job.name =보다 유용한 이름

  6. from https://stackoverflow.com/questions/33422749/how-to-change-tez-job-name-when-running-query-in-hive by cc-by-sa and MIT license