[HADOOP] Windows에서 hadoop의 tasktracker 시작 문제

Windows에서 hadoop의 tasktracker 시작 문제

Windows에서 hadoop을 사용하려고 할 때 tasktracker를 시작하려고 할 때 문제가 발생합니다. 예 :

$bin/start-all.sh

로그는 다음과 같이 씁니다.

2011-06-08 16:32:18,157 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: /tmp/hadoop-Administrator/mapred/local/taskTracker to 0755
    at org.apache.hadoop.fs.RawLocalFileSystem.checkReturnValue(RawLocalFileSystem.java:525)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:507)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:318)
    at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:183)
    at org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:630)
    at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1328)
    at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3430)

뭐가 문제 야? 어떻게 해결할 수 있습니까? 감사!

해결법

1. ==============================

   1.Windows 서버에 1.0.3을 설치하면이 문제가 발생했습니다. hdfs-site.xml의 기본 디렉토리를 변경하여 hadoop이 dfs에 대해 생성 한 디렉토리가 cygwin 디렉토리의 하위 디렉토리가되도록합니다 ...

   Windows 서버에 1.0.3을 설치하면이 문제가 발생했습니다. hdfs-site.xml의 기본 디렉토리를 변경하여 hadoop이 dfs에 대해 생성 한 디렉토리가 cygwin 디렉토리의 하위 디렉토리가되도록합니다 ...

   ...

    <property>
       <name>dfs.name.dir</name>
       <value>c:/cygwin/usr/mydir/dfs/logs</value>
    </property>
    <property>
       <name>dfs.data.dir</name>
       <value>c:/cygwin/usr/mydir/dfs/data</value>
    </property>
   </configuration>
   

   이것은 문제를 해결하는 것처럼 보였다.

   설정 파일에 대한 아파치 문서는 여기에있다.

2. ==============================

   2.이 문제는 https://issues.apache.org/jira/browse/HADOOP-7682에서 추적 중입니다.

   이 문제는 https://issues.apache.org/jira/browse/HADOOP-7682에서 추적 중입니다.

3. ==============================

   3.hadoop-Administrator 폴더의 변경 소유자를 사용하십시오. 당신은 chown 명령을 사용할 수 있습니다.

   hadoop-Administrator 폴더의 변경 소유자를 사용하십시오. 당신은 chown 명령을 사용할 수 있습니다.

4. ==============================

   4.이 문제는 Apache Hadoop 사용자 메일 링리스트에서 제기되었습니다. Hadoop의 일부 릴리스 버전에는 문제가있는 것으로 보입니다.

   이 문제는 Apache Hadoop 사용자 메일 링리스트에서 제기되었습니다. Hadoop의 일부 릴리스 버전에는 문제가있는 것으로 보입니다.

   간단한 해결책은 다른 버전의 Hadoop을 다운로드하는 것입니다 (다른 이유로 인해 특정 Hadoop 버전이 필요 없다고 가정).

   이 정확한 문제는 버전 1.0.0 (베타)에서 발생했습니다.

   그럼 0.23.0 시도했지만 치명적인있어 ClassNotFoundException :

   log4j:ERROR Could not find value for key log4j.appender.NullAppender
   log4j:ERROR Could not instantiate appender named "NullAppender".
   Exception in thread "main" java.lang.ClassNotFoundException: hadoop-mapreduce-examples-0.23.0.jar
       at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
       at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
       at java.security.AccessController.doPrivileged(Native Method)
       at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
       at java.lang.ClassLoader.loadClass(ClassLoader.java:423)
       at java.lang.ClassLoader.loadClass(ClassLoader.java:356)
       at java.lang.Class.forName0(Native Method)
       at java.lang.Class.forName(Class.java:264)
       at org.apache.hadoop.util.RunJar.main(RunJar.java:182)
   

   마지막으로 0.22.0 버전을 시도했는데 오류없이 작동했습니다. 따라서 버전 0.22.0을 다운로드하여 설치하는 것이 좋습니다. http://hadoop.apache.org/common/releases.html#10+December%2C+2011%3A+release+0.22.0+available

5. ==============================

   5.경로와 관련된 사용 권한 문제가있는 것 같습니다. / tmp / hadoop-Administrator / mapred / local / taskTracker 오류 메시지에서 알 수 있듯이

   경로와 관련된 사용 권한 문제가있는 것 같습니다. / tmp / hadoop-Administrator / mapred / local / taskTracker 오류 메시지에서 알 수 있듯이

   ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: /tmp/hadoop-Administrator/mapred/local/taskTracker
   

   taskTracker가 시작되는 계정에는 지정된 폴더를 chmod 할 수있는 권한이 필요합니다. 다른면에서는 소유자와 같은 더 많은 제어가 필요할 수 있습니다. 내가 hadoop 설정에서 구성 요소에 필요한 특정 권한을 기억하지 않습니다.

   나는 Hadoop의 권한 셋업 측면을, 특히 윈도우에서 다루지 않았으므로, 내가 말한 것은 당신이 제공 한 에러 메시지에 크게 근거하고있다. 나는 또한 cygwin 폴더 권한으로 부 (富)를 가지고 있지 않다. 그래서 나는 해결책을 알지 못한다. 그러나 잘하면 이것이 올바른 방향으로 향하게 할 것이다.

from https://stackoverflow.com/questions/6276642/problem-starting-tasktracker-in-hadoop-under-windows by cc-by-sa and MIT license