복붙노트

[HADOOP] 하둡 tasktracker를 시작하지 못했습니다

HADOOP

하둡 tasktracker를 시작하지 못했습니다

나는 하둡에 새로운 오전. 나는 지역 디렉토리와 mapred 설정에 언급 된 시스템 디렉토리가 있습니다. 오류 로그는 시작 업이 실패 있도록 디렉토리를 만들 수 없습니다 말하고있다.

root@SYS-01:/etc/hadoop/conf.apt_hyperspace# ls -l /hyperspace/dfs/
total 8
drwxr-xr-x 2 mapred hadoop 4096 2013-05-24 16:25 mapred
drwxr-xr-x 5 hdfs   hadoop 4096 2013-05-24 15:45 nn

mapred-site.xml 파일

<configuration>

<property>
 <name>mapred.local.dir</name>
 <value>/hyperspace/dfs/mapred</value>
</property>

<property>
 <name>mapred.job.tracker</name>
 <value>SYS-01:9101</value>
</property>

<property>
 <name>mapred.system.dir</name>
 <value>hdfs://hyperspace/mapred</value>
</property>

</configuration>

오류 -

    2013-05-24 16:25:54,964 INFO org.apache.hadoop.mapred.TaskTracker: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting TaskTracker
STARTUP_MSG:   host = SYS-01/10.15.21.42
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 0.20.2-cdh3u6
STARTUP_MSG:   build = file:///data/1/tmp/nightly_2013-03-20_11-32-44_3/hadoop-0.20-0.20.2+923.479-1~lucid -r efb405d2aa54039bdf39e0733cd0bb9423a1eb0a; compiled by 'root' on Wed Mar 20 13:10:08 PDT 2013
************************************************************/
2013-05-24 16:25:55,084 INFO org.apache.hadoop.util.NativeCodeLoader: Loaded the native-hadoop library
2013-05-24 16:25:55,384 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2013-05-24 16:25:55,440 INFO org.apache.hadoop.http.HttpServer: Added global filtersafety (class=org.apache.hadoop.http.HttpServer$QuotingInputFilter)
2013-05-24 16:25:55,460 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker local dir /hyperspace/dfs/mapred error can not create directory: /hyperspace/dfs/mapred, removing from local dirs
2013-05-24 16:25:55,461 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because org.apache.hadoop.util.DiskChecker$DiskErrorException: No mapred local directories are writable
        at org.apache.hadoop.mapred.TaskTracker$LocalStorage.checkDirs(TaskTracker.java:265)
        at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1633)
        at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3940)

2013-05-24 16:25:55,462 INFO org.apache.hadoop.mapred.TaskTracker: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down TaskTracker at SYS-01/10.195.241.242
************************************************************/

해결법

  1. ==============================

    1.당신은 디렉토리 DFS의 권한을 확인했다. 나는 테스트 인스턴스를 실행하고 있었고, 난 777로 권한을 변경하여 문제를 해결.

    당신은 디렉토리 DFS의 권한을 확인했다. 나는 테스트 인스턴스를 실행하고 있었고, 난 777로 권한을 변경하여 문제를 해결.

  2. from https://stackoverflow.com/questions/16743185/hadoop-tasktracker-failed-to-start by cc-by-sa and MIT license