[HADOOP] 오류 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode : doCheckpoint의 예외

오류 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode : doCheckpoint의 예외

클러스터 설정에서 Hadoop 2.2.0을 사용하고 있으며 다음과 같은 오류가 반복적으로 발생합니다. /opt/dev/hadoop/2.2.0/logs/hadoop-deploy-secondarynamenode- 파일 노드의 네임 노드 olympus에서 예외가 발생합니다. olympus.log 예

2014-02-12 16:19:59,013 INFO org.mortbay.log: Started SelectChannelConnector@olympus:50090
2014-02-12 16:19:59,013 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Web server init done
2014-02-12 16:19:59,013 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Secondary Web-server up at: olympus:50090
2014-02-12 16:19:59,013 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Checkpoint Period   :3600 secs (60 min)
2014-02-12 16:19:59,013 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger    :1000000 txns
2014-02-12 16:20:59,161 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint
java.io.IOException: Inconsistent checkpoint fields.
LV = -47 namespaceID = 291272852 cTime = 0 ; clusterId = CID-e3e4ac32-7384-4a1f-9dce-882a6e2f4bd4 ; blockpoolId = BP-166254569-192.168.92.21-1392217748925.
Expecting respectively: -47; 431978717; 0; CID-85b65e19-4030-445b-af8e-5933e75a6e5a; BP-1963497814-192.168.92.21-1392217083597.
    at org.apache.hadoop.hdfs.server.namenode.CheckpointSignature.validateStorageInfo(CheckpointSignature.java:133)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doCheckpoint(SecondaryNameNode.java:519)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doWork(SecondaryNameNode.java:380)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode$2.run(SecondaryNameNode.java:346)
    at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.java:456)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.run(SecondaryNameNode.java:342)
    at java.lang.Thread.run(Thread.java:744)
2014-02-12 16:21:59,183 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint
java.io.IOException: Inconsistent checkpoint fields.
LV = -47 namespaceID = 291272852 cTime = 0 ; clusterId = CID-e3e4ac32-7384-4a1f-9dce-882a6e2f4bd4 ; blockpoolId = BP-166254569-192.168.92.21-1392217748925.
Expecting respectively: -47; 431978717; 0; CID-85b65e19-4030-445b-af8e-5933e75a6e5a; BP-1963497814-192.168.92.21-1392217083597.
    at org.apache.hadoop.hdfs.server.namenode.CheckpointSignature.validateStorageInfo(CheckpointSignature.java:133)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doCheckpoint(SecondaryNameNode.java:519)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doWork(SecondaryNameNode.java:380)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode$2.run(SecondaryNameNode.java:346)
    at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.java:456)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.run(SecondaryNameNode.java:342)
    at java.lang.Thread.run(Thread.java:744)

여기에 무엇이 잘못되었는지 조언 할 수 있습니까?

해결법

1. ==============================

   1.같은 오류가 발생하여 [hadoop 임시 디렉토리] / dfs / namesecondary 디렉토리를 삭제했을 때 발생했습니다.

   같은 오류가 발생하여 [hadoop 임시 디렉토리] / dfs / namesecondary 디렉토리를 삭제했을 때 발생했습니다.

   나를 위해 [hadoop 임시 디렉토리]는 core-site.xml의 hadoop.tmp.dir 값입니다.

2. ==============================

   2.hadoop 서비스를 먼저 중지 한 다음 tmp secondary namenode 디렉토리를 삭제해야합니다 (hadoop.tmp.dir이 secondary namenode 데이터 디렉토리의 경로를 알려줍니다). 그런 다음 서비스를 다시 시작하면 문제가 해결됩니다.

   hadoop 서비스를 먼저 중지 한 다음 tmp secondary namenode 디렉토리를 삭제해야합니다 (hadoop.tmp.dir이 secondary namenode 데이터 디렉토리의 경로를 알려줍니다). 그런 다음 서비스를 다시 시작하면 문제가 해결됩니다.

from https://stackoverflow.com/questions/21732988/error-org-apache-hadoop-hdfs-server-namenode-secondarynamenode-exception-in-doc by cc-by-sa and MIT license