[HADOOP] Hadoop에서 DataNode 시작 실패

Hadoop에서 DataNode 시작 실패

나는 우분투 11.04와 Java 6 sun에 Hadoop 설치를 시도하고있다. 나는 hadoop 0.20.203 rc1 빌드로 작업하고 있었다. 나는 Java-6-sun으로 Ubuntu 11.04에서 반복적으로 문제를 겪고있다. hadoop을 시작하려고하면 "저장소에 액세스 할 수 없습니다"라는 이유로 데이터 노드가 시작되지 않습니다.

2011-12-22 22:09:20,874 INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot lock storage /home/hadoop/work/dfs_blk/hadoop. The directory is already locked.
2011-12-22 22:09:20,896 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Cannot lock storage /home/hadoop/work/dfs_blk/hadoop. The directory is already locked.
        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:602)
        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:455)
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:111)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:354)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:268)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1480)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1419)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1437)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1563)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1573)

나는 아파치에서 0.20 브랜치 버전의 두 버전으로 업그레이드하고 다운 그레이드를 시도했다. 심지어 cloudera도 삭제하고 다시 설치했다. 그러나 여전히 나는이 문제에 직면 해있다. / tmp 디렉토리에서 * .pid 파일을 삭제하는 등의 일반적인 해결 방법도 작동하지 않습니다. 아무도 나를 위해 해결책을 지적 할 수 있을까?

해결법

1. ==============================

   1.예, namenode의 형식을 지정했습니다. hdfs-site.xml의 hgfs-site.xml에 대한 불량 템플릿에 문제가있었습니다. dfs.data.dir 및 dfs.name.dir은 동일한 디렉토리 위치에서 잠금 저장소 오류를 가리 킵니다. 서로 다른 디렉토리 여야합니다. 불행히도, hadoop 문서는이 미묘한 세부 사항에서 충분히 명확하지 않습니다.

   예, namenode의 형식을 지정했습니다. hdfs-site.xml의 hgfs-site.xml에 대한 불량 템플릿에 문제가있었습니다. dfs.data.dir 및 dfs.name.dir은 동일한 디렉토리 위치에서 잠금 저장소 오류를 가리 킵니다. 서로 다른 디렉토리 여야합니다. 불행히도, hadoop 문서는이 미묘한 세부 사항에서 충분히 명확하지 않습니다.

from https://stackoverflow.com/questions/8613112/datanode-failing-to-start-in-hadoop by cc-by-sa and MIT license