복붙노트

[HADOOP] Hadoop Hive가 소스를 목적지로 이동할 수 없음

HADOOP

Hadoop Hive가 소스를 목적지로 이동할 수 없음

Hadoop 2.6.0에서 Hive 1.2.0을 사용하려고합니다. 나는 직원 테이블을 만들었습니다. 그러나 다음 쿼리를 실행할 때 :

hive> load data local inpath '/home/abc/employeedetails' into table employee;

다음 오류가 발생합니다.

Failed with exception Unable to move source file:/home/abc/employeedetails to destination hdfs://localhost:9000/user/hive/warehouse/employee/employeedetails_copy_1
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

내가 여기서 뭐하는거야? 특정 권한을 설정해야합니까? 미리 감사드립니다.

해결법

  1. ==============================

    1.Rio가 언급했듯이 문제는 데이터를 하이브 테이블에로드 할 수있는 권한이 없다는 것을 의미합니다. 나는 다음 문제를 해결하여 내 문제를 해결한다.

    Rio가 언급했듯이 문제는 데이터를 하이브 테이블에로드 할 수있는 권한이 없다는 것을 의미합니다. 나는 다음 문제를 해결하여 내 문제를 해결한다.

    hadoop fs -chmod g+w /user/hive/warehouse
    
  2. ==============================

    2.HDFS 디렉토리에 대한 권한을 참조하십시오.

    HDFS 디렉토리에 대한 권한을 참조하십시오.

    hdfs dfs -ls /user/hive/warehouse/employee/employeedetails_copy_1
    

    하이브 테이블에 데이터를로드 할 수있는 권한이없는 것 같습니다.

  3. ==============================

    3.이 오류는 로컬 파일 시스템의 권한 문제로 인한 것일 수 있습니다.

    이 오류는 로컬 파일 시스템의 권한 문제로 인한 것일 수 있습니다.

    로컬 파일 시스템에 대한 권한 변경 :

    sudo chmod -R 777 /home/abc/employeedetails
    

    자, 다음을 실행하십시오.

    hive> load data local inpath '/home/abc/employeedetails' into table employee;
    
  4. ==============================

    4.동일한 오류가 발생하는 경우 위의 명령을 분산 모드로 실행 한 후에 모든 노드의 모든 수퍼 유저에서 아래의 cammand를 시도 할 수 있습니다. sudo usermod -a -G hdfs yarn  참고 : 우리는 YARN (AMBARI)의 모든 서비스를 다시 시작한 후이 오류가 발생합니다. 제 문제가 해결되었습니다.이 명령은 관리자 명령을 실행할 때주의해야합니다.

    동일한 오류가 발생하는 경우 위의 명령을 분산 모드로 실행 한 후에 모든 노드의 모든 수퍼 유저에서 아래의 cammand를 시도 할 수 있습니다. sudo usermod -a -G hdfs yarn  참고 : 우리는 YARN (AMBARI)의 모든 서비스를 다시 시작한 후이 오류가 발생합니다. 제 문제가 해결되었습니다.이 명령은 관리자 명령을 실행할 때주의해야합니다.

  5. ==============================

    5.나는 같은 문제를 만났고 이틀 동안 검색했다. 마침내 그 이유는 데이터 노드가 잠깐 시작해서 종료된다는 것입니다.

    나는 같은 문제를 만났고 이틀 동안 검색했다. 마침내 그 이유는 데이터 노드가 잠깐 시작해서 종료된다는 것입니다.

    단계를 해결하십시오 :

    어쩌면이 같은 다른 문제를 만날 것입니다.

    문제 :

    방법 : hdfs dfsadmin -safemode leave

  6. from https://stackoverflow.com/questions/30483296/hadoop-hive-unable-to-move-source-to-destination by cc-by-sa and MIT license