복붙노트

[HADOOP] Mapreduce 오류 : 로컬 디렉토리를 설정하지 못했습니다.

HADOOP

Mapreduce 오류 : 로컬 디렉토리를 설정하지 못했습니다.

Windows 8에 설치된 hadoop에서 mapreduce wordcount 예제를 실행 중입니다. 아래 오류가 있습니다. 보안 권한 문제 인 것 같습니다. 그러나 나는 잘 모르겠습니다. yarn-site.xml 파일에 속성을 다음과 같이 추가했습니다.

<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>c:\hadoop\tmp-nm</value>
</property>

어떤 아이디어라도 도움이 될 것입니다!

15/07/15 11:01:54 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
15/07/15 11:01:55 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your
application with ToolRunner to remedy this.
15/07/15 11:01:56 INFO input.FileInputFormat: Total input paths to process : 2
15/07/15 11:01:56 INFO mapreduce.JobSubmitter: number of splits:2
15/07/15 11:01:57 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1436976054610_0001
15/07/15 11:01:57 INFO impl.YarnClientImpl: Submitted application application_1436976054610_0001
15/07/15 11:01:58 INFO mapreduce.Job: The url to track the job: http://localhost:8088/proxy/application_1436976054610_0001/
15/07/15 11:01:58 INFO mapreduce.Job: Running job: job_1436976054610_0001
15/07/15 11:02:03 INFO mapreduce.Job: Job job_1436976054610_0001 running in uber mode : false
15/07/15 11:02:03 INFO mapreduce.Job:  map 0% reduce 0%
15/07/15 11:02:03 INFO mapreduce.Job: Job job_1436976054610_0001 failed with state FAILED due to: Application application_1436976054610_0001 failed 2
times due to AM Container for appattempt_1436976054610_0001_000002 exited with  exitCode: -1000
For more detailed output, check application tracking page:http://localhost:8088/cluster/app/application_1436976054610_0001Then, click on links to logs of each attempt.
Diagnostics: Failed to setup local dir c:/hadoop/tmp-nm, which was marked as good.
Failing this attempt. Failing the application.
15/07/15 11:02:03 INFO mapreduce.Job: Counters: 0

해결법

  1. ==============================

    1.방금 같은 문제가있었습니다. 사용 권한 문제이므로 기본적으로 c : / hadoop / tmp-nm 폴더의 모든 폴더에 대한 사용자 계정으로 소유권을 변경해야합니다. tmp-nm 내부의 모든 하위 폴더의 소유권을 수동으로 변경해야하므로 tmp-nm의 소유권 만 변경하려고하면 작동하지 않습니다.

    방금 같은 문제가있었습니다. 사용 권한 문제이므로 기본적으로 c : / hadoop / tmp-nm 폴더의 모든 폴더에 대한 사용자 계정으로 소유권을 변경해야합니다. tmp-nm 내부의 모든 하위 폴더의 소유권을 수동으로 변경해야하므로 tmp-nm의 소유권 만 변경하려고하면 작동하지 않습니다.

  2. from https://stackoverflow.com/questions/31435849/mapreduce-error-failed-to-setup-local-dir by cc-by-sa and MIT license