[HADOOP] Hadoop Hive가 소스를 목적지로 이동할 수 없음
HADOOPHadoop Hive가 소스를 목적지로 이동할 수 없음
Hadoop 2.6.0에서 Hive 1.2.0을 사용하려고합니다. 나는 직원 테이블을 만들었습니다. 그러나 다음 쿼리를 실행할 때 :
hive> load data local inpath '/home/abc/employeedetails' into table employee;
다음 오류가 발생합니다.
Failed with exception Unable to move source file:/home/abc/employeedetails to destination hdfs://localhost:9000/user/hive/warehouse/employee/employeedetails_copy_1
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
내가 여기서 뭐하는거야? 특정 권한을 설정해야합니까? 미리 감사드립니다.
해결법
-
==============================
1.Rio가 언급했듯이 문제는 데이터를 하이브 테이블에로드 할 수있는 권한이 없다는 것을 의미합니다. 나는 다음 문제를 해결하여 내 문제를 해결한다.
Rio가 언급했듯이 문제는 데이터를 하이브 테이블에로드 할 수있는 권한이 없다는 것을 의미합니다. 나는 다음 문제를 해결하여 내 문제를 해결한다.
hadoop fs -chmod g+w /user/hive/warehouse
-
==============================
2.HDFS 디렉토리에 대한 권한을 참조하십시오.
HDFS 디렉토리에 대한 권한을 참조하십시오.
hdfs dfs -ls /user/hive/warehouse/employee/employeedetails_copy_1
하이브 테이블에 데이터를로드 할 수있는 권한이없는 것 같습니다.
-
==============================
3.이 오류는 로컬 파일 시스템의 권한 문제로 인한 것일 수 있습니다.
이 오류는 로컬 파일 시스템의 권한 문제로 인한 것일 수 있습니다.
로컬 파일 시스템에 대한 권한 변경 :
sudo chmod -R 777 /home/abc/employeedetails
자, 다음을 실행하십시오.
hive> load data local inpath '/home/abc/employeedetails' into table employee;
-
==============================
4.동일한 오류가 발생하는 경우 위의 명령을 분산 모드로 실행 한 후에 모든 노드의 모든 수퍼 유저에서 아래의 cammand를 시도 할 수 있습니다. sudo usermod -a -G hdfs yarn 참고 : 우리는 YARN (AMBARI)의 모든 서비스를 다시 시작한 후이 오류가 발생합니다. 제 문제가 해결되었습니다.이 명령은 관리자 명령을 실행할 때주의해야합니다.
동일한 오류가 발생하는 경우 위의 명령을 분산 모드로 실행 한 후에 모든 노드의 모든 수퍼 유저에서 아래의 cammand를 시도 할 수 있습니다. sudo usermod -a -G hdfs yarn 참고 : 우리는 YARN (AMBARI)의 모든 서비스를 다시 시작한 후이 오류가 발생합니다. 제 문제가 해결되었습니다.이 명령은 관리자 명령을 실행할 때주의해야합니다.
-
==============================
5.나는 같은 문제를 만났고 이틀 동안 검색했다. 마침내 그 이유는 데이터 노드가 잠깐 시작해서 종료된다는 것입니다.
나는 같은 문제를 만났고 이틀 동안 검색했다. 마침내 그 이유는 데이터 노드가 잠깐 시작해서 종료된다는 것입니다.
단계를 해결하십시오 :
어쩌면이 같은 다른 문제를 만날 것입니다.
문제 :
방법 : hdfs dfsadmin -safemode leave
from https://stackoverflow.com/questions/30483296/hadoop-hive-unable-to-move-source-to-destination by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 스파크 스트리밍 : HDFS (0) | 2019.06.17 |
---|---|
[HADOOP] hadoop mapreduce / yarn에서 VCORES를 설정하는 방법은 무엇입니까? (0) | 2019.06.17 |
[HADOOP] 루프를 통해 hdfs 디렉토리 (0) | 2019.06.17 |
[HADOOP] JDBC를 통한 Spark SQL과 Apache Drill 통합 (0) | 2019.06.17 |
[HADOOP] Java를 사용하여 HDFS에서 파일 액세스 (0) | 2019.06.17 |