[HADOOP] 하둡 HDFS 오류로 로컬 데이터를 복사

하둡 HDFS 오류로 로컬 데이터를 복사

나는 최근 / 설치 하둡을 구성하고 curently 몇 가지 테스트를 실행하려고합니다. 내 문제는 HDFS 로컬 데이터를 복사 함께 :

나는 실행하려고 할 때

hdfs dfs -copyFromLocal /home/develop/test/ test

또는 유사한 명령은 내가 가진 전부입니다 :

copyFromLocal: `test': No such file or directory

내가 LS를 실행하면, 나는 같은 출력을 얻을 :

develop@ubuntu:~$ hdfs dfs -ls
ls: `.': No such file or directory

나는 또한 정확히 내가 무엇을 놓치고, HDFS DFS -mkdir하지만, 실패와 디렉토리 테스트를 만들려고?

해결법

1. ==============================

   1.HDFS 경로에 슬래시를 추가합니다.

   HDFS 경로에 슬래시를 추가합니다.

   예를 들어,

   hdfs dfs -mkdir /test
   hdfs dfs -copyFromLocal /home/develop/test/ /test
   

2. ==============================

   2.당신은 HDFS에 로컬 파일 시스템에서 파일을 복사 할 경우, 먼저 로컬 파일 시스템에서 해당 파일이 필요합니다.

   당신은 HDFS에 로컬 파일 시스템에서 파일을 복사 할 경우, 먼저 로컬 파일 시스템에서 해당 파일이 필요합니다.

   / 가정 / 아래 테스트라는 이름의 파일을 만들고 개발하고 명령에서이 파일의 경로를 제공합니다.

   당신은 너무이 명령을 사용할 수 있습니다 :

   hdfs dfs -put /home/develop/test test
   

3. ==============================

   3.신선한 Hadoop을 설치 한 후에는 HDFS에 / 사용자에서 사용자 디렉토리를 작성해야합니다.

   신선한 Hadoop을 설치 한 후에는 HDFS에 / 사용자에서 사용자 디렉토리를 작성해야합니다.

   이 오류를 얻고있다

   develop@ubuntu:~$ hdfs dfs -ls
   ls: `.': No such file or directory 
   

   당신이 어떤 디렉토리 / 사용자가 없기 때문에 / HDFS에 개발할 수 있습니다.

   당신은 다음 명령을 사용하여 사용자 디렉토리를 생성 할 수 있습니다 :

   $> sudo su - hdfs -C "hadoop fs -mkdir /user/develop"
   $> sudo su - hdfs -C "hadoop fs -chown -R develop:hadoop /user/develop"
   $> sudo su - hdfs -C "hadoop fs -chmod -R 750 /user/develop"
   

   당신은 여전히 ​​테스트 디렉토리를 작성해야합니다하지만 당신은 당신에게 copyFromLocal 명령을 사용하는 경우는 테스트 디렉토리가 될 것입니다 위해 / / 절대 경로 .SO 당신의 사용자를 HDFS의 사용자 디렉토리를 테스트 디렉토리를 생성 / 테스트를 개발해야합니다.

from https://stackoverflow.com/questions/32738837/copy-local-data-to-hadoop-hdfs-error by cc-by-sa and MIT license