[HADOOP] Hadoop WordCount 예제 - Hadoop (Eclipse) 옵션 실행시 프롬프트가 나타나지 않습니다. 창에서 실행할 Hadoop 서버 선택
HADOOPHadoop WordCount 예제 - Hadoop (Eclipse) 옵션 실행시 프롬프트가 나타나지 않습니다. 창에서 실행할 Hadoop 서버 선택
내가 이클립스에서 단어 개수 예제를 실행하려고합니다. 일반적으로 "run on hadoop"옵션을 클릭하면 서버 위치를 선택하라는 새 창이 나타납니다. 그러나 이제는 아래 목록에서 기존 서버를 선택하라는 메시지없이 프로그램을 직접 실행합니다.
나는 이것 때문에 나는 다음과 같은 예외가 있다고 생각한다 :
13/04/21 08:46:31 ERROR security.UserGroupInformation: PriviledgedActionException as:hduser1 cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hduser1/gutenbergIP/pg4300.txt
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hduser1/gutenbergIP/pg4300.txt
내 코드를 변경하면 코드가 작동합니다.
FileInputFormat.setInputPaths(conf, "/home/hduser1/gutenbergIP/pg4300.txt");
에:
FileInputFormat.setInputPaths(conf, "hdfs://localhost:54310/home/hduser1/gutenbergIP/pg4300.txt");
명시 적으로 전체 URL로 파일 이름을 지정하면 작동합니다. 나는 이것에 관해 어떤 도움을 원했다. 전체 URL을 제공하는 대신 상대 URL을 작동하게하려면 어떻게해야합니까 (학교에서 과제로 제출해야 함).
해결법
-
==============================
1.코드에 다음 두 줄을 추가하십시오.
코드에 다음 두 줄을 추가하십시오.
config.addResource(new Path("/HADOOP_HOME/conf/core-site.xml")); config.addResource(new Path("/HADOOP_HOME/conf/hdfs-site.xml"));
이것을 지정하지 않으면 클라이언트는 지정된 경로를 포함하지 않는 로컬 FS를 조사하여 오류를 던집니다.
from https://stackoverflow.com/questions/16133082/hadoop-wordcount-example-run-on-hadoopeclipse-option-is-not-prompting-select by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] MultipleOutputFormat 파일 하위 경로 제어 (0) | 2019.08.02 |
---|---|
[HADOOP] HIVE에서 날짜를 빼는 방법 (0) | 2019.08.02 |
[HADOOP] 버킷으로 연결된 테이블의 전체 데이터를 검색하는 하이브 (0) | 2019.08.02 |
[HADOOP] pyspark에서 hdfs 블록 크기를 변경하는 방법은 무엇입니까? (0) | 2019.08.02 |
[HADOOP] RJDBC / RHive를 사용하여 R에서 원격 하이브 서버에 연결 (0) | 2019.08.02 |