[HADOOP] 하둡 클러스터는 마스터 노드 또는 모든 노드를 사용하고
HADOOP하둡 클러스터는 마스터 노드 또는 모든 노드를 사용하고
나는 4 노드 하둡 클러스터를 만들었습니다. 나는 모든 데이타 노드, 네임 노드 자원 관리자 등을 시작합니다.
내 모든 노드가 작동 여부와 확인하려면, 나는 다음 절차를 시도했다 :
1 단계 나는 모든 노드가 활성 때 내 프로그램을 실행 2 단계 단지 마스터가 활성화되면 내 프로그램을 실행합니다.
두 경우 모두 완료 시간은 거의 동일 하였다.
그래서, 프로그램을 실행하는 동안 실제로 사용되는 노드 수를 알 수있는 다른 방법이 있는지 알고 싶습니다.
해결법
-
==============================
1.채팅에서 논의. 두 경우 모두 작업이 LocalJobRunner를 사용하여 로컬 시작된에서이 문제는 잘못된 하둡 설치로 인해 발생합니다.
채팅에서 논의. 두 경우 모두 작업이 LocalJobRunner를 사용하여 로컬 시작된에서이 문제는 잘못된 하둡 설치로 인해 발생합니다.
권장 사항 :
from https://stackoverflow.com/questions/27028288/hadoop-cluster-is-using-only-master-node-or-all-nodes by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡 네임 노드, 체크 포인트 노드 및 백업 노드를 사용의 장점과 단점은 무엇입니까? (0) | 2019.10.07 |
---|---|
[HADOOP] 하둡 스트리밍 mapred.local.dir 오류 (0) | 2019.10.07 |
[HADOOP] oraoop와 오라클 데이터 가져 오기를위한 하둡과 Sqoop을 통합 (0) | 2019.10.07 |
[HADOOP] 간단한 하이브 쿼리가 비어 있습니다 (0) | 2019.10.07 |
[HADOOP] 돼지 라틴어 줄에 JSON 배열에 파일을로드하는 방법 (0) | 2019.10.07 |