[HADOOP] 실행중인 Hadoop 클러스터에 노드를 추가하는 방법이 있습니까?

실행중인 Hadoop 클러스터에 노드를 추가하는 방법이 있습니까?

나는 Cloudera와 놀았으며 일을 시작하기 전에 클러스터 수를 정의한 다음 cloudera 관리자를 사용하여 모든 것이 실행되고 있는지 확인합니다.

나는 hadoop을 사용하는 대신 메시지 큐를 사용하여 작업을 배포하지만 작업 결과는 HBase에 저장되는 새 프로젝트를 진행하고 있습니다. 작업을 처리하고 Hbase에 저장하기 위해 10 대의 서버를 시작할 수 있지만 나중에 더 많은 작업자 노드를 추가하기로 결정했다면 (읽기 가능 : 프로그래밍 가능) 자동으로 실행중인 클러스터에 연결하여 로컬로 추가 할 수 있는지 궁금합니다. 클러스터 HBase / HDFS에?

이것이 가능하며 그것을하기 위해 무엇을 배울 필요가 있습니까?

해결법

1. ==============================

   1.다음은 Hadoop 및 HBase에 노드를 추가하기위한 설명서입니다. 문서를 보면 클러스터를 다시 시작할 필요가 없습니다. 노드는 동적으로 추가 될 수 있습니다.

   다음은 Hadoop 및 HBase에 노드를 추가하기위한 설명서입니다. 문서를 보면 클러스터를 다시 시작할 필요가 없습니다. 노드는 동적으로 추가 될 수 있습니다.

2. ==============================

   2.다음 단계는 실행중인 클러스터에 새 노드를 시작하는 데 도움이됩니다.

   다음 단계는 실행중인 클러스터에 새 노드를 시작하는 데 도움이됩니다.

   1> Update the /etc/hadoop/conf/slaves list with the new node-name
   2> Sync the full configuration /etc/hadoop/conf to the new datanode from the Namenode. If the file system isn't shared.  
   2>  Restart all the hadoop services on Namenode/Tasktracker and all the services on the new Datanode. 
   3>  Verify the new datanode from the browser http://namenode:50070
   4>  Run the balancer script to readjust the data between the nodes. 
   

   새 노드를 추가 할 때 NN에서 서비스를 다시 시작하지 않으려는 경우. 나는 슬레이브 설정 파일에 이름을 추가한다고 말하고 싶다. 따라서 이용 가능할 때까지 퇴역 / 사각 노드로보고합니다. 위의 DataNode 다음 단계 만 수행하십시오. 다시 이것은 최선의 방법이 아닙니다.

3. ==============================

   3.내가 올바르게 이해한다면 HBase에 연결하여 데이터를 저장하는 작업자가 직접 조정할 수 있습니다. 필요한만큼 많은 것을 가질 수 있으며 추가 된대로 (Zookeeper 쿼럼을 볼 수있는 한) Hbase에 연결할 수 있습니다.

   내가 올바르게 이해한다면 HBase에 연결하여 데이터를 저장하는 작업자가 직접 조정할 수 있습니다. 필요한만큼 많은 것을 가질 수 있으며 추가 된대로 (Zookeeper 쿼럼을 볼 수있는 한) Hbase에 연결할 수 있습니다.

   Hadoop 클러스터를 늘리는 것에 대해 이야기하고 있다면. Cloudera를 이미 사용하고 있으므로 cloudera Manager REST API 또는 구현 된 Java 클라이언트를 통해이 작업을 수행 할 수 있습니다

4. ==============================

   4.hadoop 클러스터를 다시 시작하지 않고도 완료 할 수 있습니다. 이 문서에 따라 포함 파일에 노드를 추가하고 hdfs-site.xml 및 mapred-site.xml 파일을 일부 변경하면이 작업을 수행 할 수 있습니다. 자세한 지침은이 문서에 나와 있습니다.

   hadoop 클러스터를 다시 시작하지 않고도 완료 할 수 있습니다. 이 문서에 따라 포함 파일에 노드를 추가하고 hdfs-site.xml 및 mapred-site.xml 파일을 일부 변경하면이 작업을 수행 할 수 있습니다. 자세한 지침은이 문서에 나와 있습니다.

5. ==============================

   5.CDH 5.8.5 (Hadoop 2.6)를 사용하여 Cloudera에 대한 응답 업데이트 -

   CDH 5.8.5 (Hadoop 2.6)를 사용하여 Cloudera에 대한 응답 업데이트 -

   클러스터에 새 노드를 추가하려면 ClouderaManager UI에서 다음 단계를 수행하십시오.

from https://stackoverflow.com/questions/13159184/is-there-a-way-to-add-nodes-to-a-running-hadoop-cluster by cc-by-sa and MIT license