[HADOOP] Hadoop 클라이언트 노드 설정

Hadoop 클라이언트 노드 설정

20 대의 컴퓨터를 가진 Hadoop Cluster가 있다고 가정합니다. 이 20 대의 기계 중 18 대의 기계가 슬레이브이고 19 번 기계가 NameNode이고 20 대의 기계가 JobTracker 용입니다.

이제 hadoop 소프트웨어가 20 대의 모든 컴퓨터에 설치되어야한다는 것을 알고 있습니다.

하지만 내 질문은 Hadoop Cluster에 xyz.txt 파일을로드하는 것과 관련된 컴퓨터입니다. 클라이언트 시스템은 별도의 시스템입니까? 해당 임상 시험용 컴퓨터에도 Hadoop 소프트웨어를 설치해야합니다. 클라이언트 컴퓨터가 Hadoop 클러스터를 어떻게 식별합니까?

해결법

1. ==============================

   1.나는 hadoop에 처음이다. 그래서 내가 이해 한 것에서 :

   나는 hadoop에 처음이다. 그래서 내가 이해 한 것에서 :

   데이터 업로드가 클러스터의 실제 서비스가 아니고 클러스터의 에지 노드에서 실행 중이면 에지 노드로 작동하도록 자체 컴퓨터를 구성 할 수 있습니다.

   에지 노드는 데이터를 저장하거나 작업을 계산하지 않으므로 보안을 위해 클러스터에서 알 필요가 없습니다. 이것은 기본적으로 에지 노드가되는 것을 의미합니다. 즉, 노드 클러스터에 연결되지만 참여하지 않습니다.

   도움이 될 수있는 경우, 관리하지 않는 클러스터에 연결하기 위해 수행 한 작업은 다음과 같습니다.

   그런 다음 hadoop fs -ls /를 실행하여 클러스터 hdfs의 루트 디렉토리를 나열해야합니다.

2. ==============================

   2.일반적으로 멀티 테넌트 클러스터 (대부분의 클러스터가 바인딩되는)가있는 경우 관리자가 아닌 다른 사람이 클러스터의 일부인 시스템에 액세스하지 않는 것이 이상적입니다.

   일반적으로 멀티 테넌트 클러스터 (대부분의 클러스터가 바인딩되는)가있는 경우 관리자가 아닌 다른 사람이 클러스터의 일부인 시스템에 액세스하지 않는 것이 이상적입니다.

   개발자는 자신의 "에지 노드"를 설정합니다. Edge Node는 기본적으로 hadoop 라이브러리를 가지고 있으며 클라이언트 구성 (namenode, job tracker, zookeeper 등이 코어 사이트, mapred-site, hdfs-site.xml 인 로컬 설치를 알려주는 다양한 xml 파일)을 배포합니다. 그러나 에지 노드는 클러스터에서 그 자체로 어떠한 역할도하지 못한다. 즉,이 노드에서 지속적인 HAROUP 서비스가 실행되지 않는다.

   이제는 작은 개발 환경 종류의 설치의 경우 클러스터의 참여 노드 중 하나를 사용하여 작업을 실행하거나 쉘 명령을 실행할 수 있습니다.

   따라서 고객의 요구 사항에 따라 고객의 정의와 배치가 다릅니다.

3. ==============================

   3.나는이 기사를 추천한다. "클라이언트 시스템은 모든 클러스터 설정으로 설치된 Hadoop을 가지고 있지만 마스터 또는 슬레이브가 아니며 클라이언트 시스템의 역할은 클러스터에 데이터를로드하고 해당 데이터를 처리하는 방법을 설명하는 작업을 요약하는 맵을 제출하고 그때 작업이 끝나면 결과를 검색하거나 봅니다. "

   나는이 기사를 추천한다. "클라이언트 시스템은 모든 클러스터 설정으로 설치된 Hadoop을 가지고 있지만 마스터 또는 슬레이브가 아니며 클라이언트 시스템의 역할은 클러스터에 데이터를로드하고 해당 데이터를 처리하는 방법을 설명하는 작업을 요약하는 맵을 제출하고 그때 작업이 끝나면 결과를 검색하거나 봅니다. "

from https://stackoverflow.com/questions/22252349/hadoop-client-node-configuration by cc-by-sa and MIT license