복붙노트

[HADOOP] 하이브 - SELECT COUNT (*)가와 TEZ 작업하지만 MR 작동하지

HADOOP

하이브 - SELECT COUNT (*)가와 TEZ 작업하지만 MR 작동하지

나는 마루 데이터와 하이브 외부 테이블이있다.

내가 표에서 SELECT COUNT (*)를 실행하면 TEZ와 함께 실패합니다.

실행 엔진은 MR로 변경 될 때 그러나 그것은 작동합니다. 이 TEZ에 실패 왜 어떤 생각? 나는 TEZ에 다음과 같은 오류를 받고 있어요 :

해결법

  1. ==============================

    1.당신은 HDFS에 tez.tar.gz 파일을 넣어해야합니다. 나는 당신이되고이 단계를 놓칠 것 같아요.

    당신은 HDFS에 tez.tar.gz 파일을 넣어해야합니다. 나는 당신이되고이 단계를 놓칠 것 같아요.

    HDFS에 응용 프로그램 폴더를 만들

    hdfs dfs -mkdir -p /hadoop/apps/tez/
    

    Tejhktrkgajhfile을 넣어

    hdfs dfs -put /usr/hadoop/tez/lib/tez.tar.gz /hadoop/apps/tez/
    

    해당 폴더 및 타르에 권한을 부여

    hdfs dfs -chown -R $HDFS_USER:$HADOOP_USER /hadoop
    hdfs dfs -chmod -R 555 /hadoop/apps/tez
    hdfs dfs -chmod -R 444 /hadoop/apps/tez/tez.tar.gz
    
  2. from https://stackoverflow.com/questions/49503973/hive-select-count-not-working-with-tez-with-but-works-with-mr by cc-by-sa and MIT license