복붙노트

[HADOOP] Hadoop WordCount 예제 - Hadoop (Eclipse) 옵션 실행시 프롬프트가 나타나지 않습니다. 창에서 실행할 Hadoop 서버 선택

HADOOP

Hadoop WordCount 예제 - Hadoop (Eclipse) 옵션 실행시 프롬프트가 나타나지 않습니다. 창에서 실행할 Hadoop 서버 선택

내가 이클립스에서 단어 개수 예제를 실행하려고합니다. 일반적으로 "run on hadoop"옵션을 클릭하면 서버 위치를 선택하라는 새 창이 나타납니다. 그러나 이제는 아래 목록에서 기존 서버를 선택하라는 메시지없이 프로그램을 직접 실행합니다.

나는 이것 때문에 나는 다음과 같은 예외가 있다고 생각한다 :

13/04/21 08:46:31 ERROR security.UserGroupInformation: PriviledgedActionException as:hduser1 cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hduser1/gutenbergIP/pg4300.txt
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hduser1/gutenbergIP/pg4300.txt

내 코드를 변경하면 코드가 작동합니다.

FileInputFormat.setInputPaths(conf, "/home/hduser1/gutenbergIP/pg4300.txt");

에:

FileInputFormat.setInputPaths(conf, "hdfs://localhost:54310/home/hduser1/gutenbergIP/pg4300.txt");

명시 적으로 전체 URL로 파일 이름을 지정하면 작동합니다. 나는 이것에 관해 어떤 도움을 원했다. 전체 URL을 제공하는 대신 상대 URL을 작동하게하려면 어떻게해야합니까 (학교에서 과제로 제출해야 함).

해결법

  1. ==============================

    1.코드에 다음 두 줄을 추가하십시오.

    코드에 다음 두 줄을 추가하십시오.

    config.addResource(new Path("/HADOOP_HOME/conf/core-site.xml"));
    config.addResource(new Path("/HADOOP_HOME/conf/hdfs-site.xml"));
    

    이것을 지정하지 않으면 클라이언트는 지정된 경로를 포함하지 않는 로컬 FS를 조사하여 오류를 던집니다.

  2. from https://stackoverflow.com/questions/16133082/hadoop-wordcount-example-run-on-hadoopeclipse-option-is-not-prompting-select by cc-by-sa and MIT license