[HADOOP] 하둡 멀티 노드 클러스터. 데이터 노드가 제대로 작동하지 않습니다

하둡 멀티 노드 클러스터. 데이터 노드가 제대로 작동하지 않습니다

hadoop을 다중 노드 클러스터로 배포하고 있습니다 (분산 모드). 그러나 각 데이터 노드에는 서로 다른 클러스터 ID가 있습니다.

노예 1에서

java.io.IOException: Incompatible clusterIDs in /home/pushuser1/hadoop/tmp/dfs/data: namenode clusterID = CID-c72a7d30-ec64-4e4f-9a80-e6f9b6b1d78c; datanode clusterID = CID-2ecca585-6672-476e-9931-4cfef9946c3b

노예 2에서

java.io.IOException: Incompatible clusterIDs in /home/pushuser1/hadoop/tmp/dfs/data: namenode clusterID = CID-c72a7d30-ec64-4e4f-9a80-e6f9b6b1d78c; datanode clusterID = CID-e24b0548-2d8d-4aa4-9b8c-a336193c006e

이 링크도 따라갔습니다. Datanode가 올바르게 시작되지 않지만 어떤 클러스터 ID를 선택해야하는지 모르겠습니다. 내가 선택하면 데이터 노드는 해당 컴퓨터에서 시작하지만 다른 컴퓨터에서는 시작되지 않습니다. 또한 기본 명령 (hadoop namenode-format)을 사용하여 네임 노드를 포맷하면 각 슬레이브 노드의 데이터 노드가 시작되지만 마스터 시스템의 네임 노드는 시작되지 않습니다.

해결법

1. ==============================

   1.데이터 노드와 네임 노드의 ClusterID가 일치해야하며, 데이터 노드 만 효과적으로 네임 노드와 통신 할 수 있습니다. 네임 노드 형식을 수행하면 네임 노드에 새 ClusterID가 할당되고 데이터 노드의 ClusterID가 일치하지 않습니다.

   데이터 노드와 네임 노드의 ClusterID가 일치해야하며, 데이터 노드 만 효과적으로 네임 노드와 통신 할 수 있습니다. 네임 노드 형식을 수행하면 네임 노드에 새 ClusterID가 할당되고 데이터 노드의 ClusterID가 일치하지 않습니다.

   / home / pushuser1 / hadoop / tmp / dfs / data / current / (datanode directory) 및 namenode 디렉토리 (/ home / pushuser1 / hadoop / tmp / dfs / name / current /에서 VERSION 파일을 찾을 수 있습니다. ClusterID를 포함하는 dfs.namenode.name.dir에 지정한 값)

   hdfs 네임 노드를 포맷 할 준비가되면 모든 HDFS 서비스를 중지하고 다음 디렉토리 내의 모든 파일을 지 웁니다.

   rm -rf /home/pushuser1/hadoop/tmp/dfs/data/*  (Need to execute on all data nodes)
   rm -rf /home/pushuser1/hadoop/tmp/dfs/name/*
   

   hdfs를 다시 포맷하십시오 (hadoop namenode -format)

from https://stackoverflow.com/questions/26907878/hadoop-multinode-cluster-data-node-not-working-properly by cc-by-sa and MIT license