복붙노트

[HADOOP] 하둡 클러스터는 마스터 노드 또는 모든 노드를 사용하고

HADOOP

하둡 클러스터는 마스터 노드 또는 모든 노드를 사용하고

나는 4 노드 하둡 클러스터를 만들었습니다. 나는 모든 데이타 노드, 네임 노드 자원 관리자 등을 시작합니다.

내 모든 노드가 작동 여부와 확인하려면, 나는 다음 절차를 시도했다 :

1 단계 나는 모든 노드가 활성 때 내 프로그램을 실행 2 단계 단지 마스터가 활성화되면 내 프로그램을 실행합니다.

두 경우 모두 완료 시간은 거의 동일 하였다.

그래서, 프로그램을 실행하는 동안 실제로 사용되는 노드 수를 알 수있는 다른 방법이 있는지 알고 싶습니다.

해결법

  1. ==============================

    1.채팅에서 논의. 두 경우 모두 작업이 LocalJobRunner를 사용하여 로컬 시작된에서이 문제는 잘못된 하둡 설치로 인해 발생합니다.

    채팅에서 논의. 두 경우 모두 작업이 LocalJobRunner를 사용하여 로컬 시작된에서이 문제는 잘못된 하둡 설치로 인해 발생합니다.

    권장 사항 :

  2. from https://stackoverflow.com/questions/27028288/hadoop-cluster-is-using-only-master-node-or-all-nodes by cc-by-sa and MIT license