[HADOOP] 하둡지도-줄일 작업이 실패했습니다
HADOOP하둡지도-줄일 작업이 실패했습니다
저는 현재 5 노예와 하둡 5 노드 클러스터를 사용하고 있습니다 각 데이터 노드는 8.7 TB의 용량을하고있다. 나는지도 데이터의 3백12기가바이트을 실행하는 작업을 줄일 실행하지만 Apllication의 오류가 프로그램을 실행 한 후 실패한 가지고 있어요. 내가 먼저지도 작업이 시작 감소, 오류를 이해하지 못할, 그것이 1 %에서 다시 시작한 후 11 %로 얻었다.
1) 내가 클러스터 구성에서 실행 질수 더 큰 데이터 집합을 실행하고 있는가?
2) 내가 내지도는 어떻게 가능한 구성 될 데이터 집합에 작업을 실행하기위한 드라이버를 줄이기 밖으로 구성해야합니까? 자세한 내용은 스크린 샷을 참조하십시오.
해결법
from https://stackoverflow.com/questions/48260146/hadoop-map-reduce-job-failed by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 맵리 듀스 작업을 기본 호출하지 않는 하이브 명령에 대한 (0) | 2019.10.01 |
---|---|
[HADOOP] 오류가 하둡에 항아리를 실행하는 동안 (0) | 2019.09.30 |
[HADOOP] 지도 취한 CPU 시간을 찾는 방법 / 하둡에서 작업을 감소 (0) | 2019.09.30 |
[HADOOP] 효과적으로 큰 마루 파일을 병합 (0) | 2019.09.30 |
[HADOOP] HDFS에 두 개의 마루 파일을 병합 (0) | 2019.09.30 |