[HADOOP] 첫 번째 hadoop 프로젝트 오류 : "입력 경로가 존재하지 않습니다"

첫 번째 hadoop 프로젝트 오류 : "입력 경로가 존재하지 않습니다"

간단한 hadoop 프로젝트를 설정하려면이 튜토리얼을 따라야한다 : http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html

내 hadoop 단일 노드가 제대로 실행되고있는 것 같습니다.

이 코드를 사용하여 In 폴더를 지정할 때 :

FileInputFormat.setInputPaths(conf, new Path("In"));

이 오류가 나타납니다.

13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/user/DEVUSER/In

현재 In 폴더는 C : \ homedir \ hadoop-1.0.4 \ In에 생성됩니다.

"In"폴더를 만들어 hdfs : // localhost : 9100 / user / DEVUSER / In에 나타나도록해야합니까? 로컬 파일 시스템의 폴더를 가리 키도록 XML 파일을 업데이트해야합니까?

해결법

1. ==============================

   1.먼저 입력 파일을 HDFS 파일 시스템에 업로드해야합니다.

   먼저 입력 파일을 HDFS 파일 시스템에 업로드해야합니다.

   bin/hadoop fs -mkdir In
   

   HDFS에서 / user / DEVUSER / In 디렉토리를 만듭니다.

   bin/hadoop fs -put *.txt In
   

   모든 * .txt 파일을 현재 디렉토리에서 클러스터 (HDFS)로 복사합니다.

   자습서에서 데이터 업로드 장을 건너 뛰었습니다. 따라와 문제가 해결되어야합니다.

2. ==============================

   2.하푼 (hadpun)은 말하길, 어떤 상황에서는 HDFS 아래에 그 디렉토리를 만들려고했지만, 그 메시지를주지 않을 것입니다 : mkdir :`In ': 그런 파일이나 디렉토리가 없습니다. 이를 해결하려면 다음과 같이해야합니다.

   하푼 (hadpun)은 말하길, 어떤 상황에서는 HDFS 아래에 그 디렉토리를 만들려고했지만, 그 메시지를주지 않을 것입니다 : mkdir :`In ': 그런 파일이나 디렉토리가 없습니다. 이를 해결하려면 다음과 같이해야합니다.

   텍스트 파일을 HDFS 클러스터에 복사하십시오

3. ==============================

   3.파일을 hdfs에 업로드하는 것이 아니라 로컬 시스템에서 파일에 액세스하려는 경우 다음과 같이 입력 경로를 설정하십시오.

   파일을 hdfs에 업로드하는 것이 아니라 로컬 시스템에서 파일에 액세스하려는 경우 다음과 같이 입력 경로를 설정하십시오.

   FileInputFormat.setInputPaths(conf, new Path("file://path of the In Folder on your File system "));
   

from https://stackoverflow.com/questions/15191832/first-hadoop-project-error-input-path-does-not-exist by cc-by-sa and MIT license