[HADOOP] Hadoop 클라이언트와 클러스터 분리

Hadoop 클라이언트와 클러스터 분리

나는 hadoop에서 초보자이며, 리눅스이기도하다. 교수님은 포트 매핑이나 VPN을 사용하여 Hadoop 클라이언트와 클러스터를 분리 해달라고 요청했습니다. 나는 그러한 분리의 의미를 이해하지 못한다. 아무도 나에게 힌트를 줄 수 있니?

이제 클러스터 클라이언트 분리에 대한 아이디어를 얻었습니다. 나는 hadoop이 클라이언트 컴퓨터에도 설치되어 있어야한다고 생각합니다. 클라이언트가 hadoop 작업을 제출하면 클러스터의 마스터에게 제출됩니다.

그리고 몇 가지 훌륭한 아이디어가 있습니다.

1. 클라이언트 시스템을 작성하고 hadoop을 설치하십시오.

2. fs.default.name을 hdfs : // master : 9000으로 설정하십시오.

3. dfs.namenode.name.dir을 file : // master / home / hduser / hadoop_tmp / hdfs / namenode로 설정하십시오. 맞습니까?

4. 그런 다음 dfs.namenode.name.dir 및 기타 구성을 설정하는 방법을 모르겠습니다.

5. 기본 아이디어는 작업 파일을 hadoop 클러스터에서 실행하도록 구성 파일을 설정하는 것이라고 생각하지만 정확하게 수행하는 방법을 모르겠습니다.

해결법

1. ==============================

   1.사용자는 클러스터의 기능을 방해해서는 안됩니다. 그것이 의미입니다. 클러스터의 마스터 중 한 곳에서 일을 시작하는 수많은 데이터 과학자가 있다고 상상해보십시오. 누군가 메모리 사용이 많은 작업을 시작하면 같은 시스템에서 실행중인 마스터 프로세스가 메모리 및 충돌없이 종료 될 수 있습니다. 그러면 전체 클러스터가 실패한 상태가됩니다.

   사용자는 클러스터의 기능을 방해해서는 안됩니다. 그것이 의미입니다. 클러스터의 마스터 중 한 곳에서 일을 시작하는 수많은 데이터 과학자가 있다고 상상해보십시오. 누군가 메모리 사용이 많은 작업을 시작하면 같은 시스템에서 실행중인 마스터 프로세스가 메모리 및 충돌없이 종료 될 수 있습니다. 그러면 전체 클러스터가 실패한 상태가됩니다.

   클라이언트 노드를 마스터 / 슬레이브 노드와 분리하면 사용자가 여전히 크래시 될 수 있지만 클러스터는 계속 유지됩니다.

2. ==============================

   2.우선이 링크에는 클라이언트가 namenode와 통신하는 방법에 대한 자세한 정보가 있습니다.

   우선이 링크에는 클라이언트가 namenode와 통신하는 방법에 대한 자세한 정보가 있습니다.

   http://www.informit.com/articles/article.aspx?p=2460260&seqNum=2

   필자의 교수님은 hadoop 작업을 실행할 수 있지만 그 노드는 hadoop 클러스터에 속해서는 안되는 클라이언트로서 별도의 노드를 갖기를 원합니다.

   클라이언트 시스템에서 Hadoop 작업을 제출해야하고 클라이언트 시스템이 기존 Hadoop 클러스터의 일부가 아닌 시나리오를 고려하십시오. 작업이 Hadoop 클러스터에서 실행될 것으로 예상됩니다.

   네임 노드와 데이터 노드는 Hadoop Cluster 형태로 네임 노드에 작업을 제출합니다. 이를 달성하기 위해 클라이언트는 네임 노드에있는 Hadoop Distribution 및 구성의 복사본을 가지고 있어야합니다. 그런 다음 클라이언트 만 Job Tracker가 실행중인 노드와 HDFS 데이터에 액세스 할 Namenode의 IP를 알게됩니다.

   네임 노드의 설정을 살펴보고,

   core-site.xml에는이 속성이 있습니다.         <이름> fs.default.name          192.168.0.1:9000

from https://stackoverflow.com/questions/35314130/hadoop-client-and-cluster-separation by cc-by-sa and MIT license