복붙노트

[HADOOP] 하둡지도-줄일 작업이 실패했습니다

HADOOP

하둡지도-줄일 작업이 실패했습니다

저는 현재 5 노예와 하둡 5 노드 클러스터를 사용하고 있습니다 각 데이터 노드는 8.7 TB의 용량을하고있다. 나는지도 데이터의 3백12기가바이트을 실행하는 작업을 줄일 실행하지만 Apllication의 오류가 프로그램을 실행 한 후 실패한 가지고 있어요. 내가 먼저지도 작업이 시작 감소, 오류를 이해하지 못할, 그것이 1 %에서 다시 시작한 후 11 %로 얻었다.

1) 내가 클러스터 구성에서 실행 질수 더 큰 데이터 집합을 실행하고 있는가?

2) 내가 내지도는 어떻게 가능한 구성 될 데이터 집합에 작업을 실행하기위한 드라이버를 줄이기 밖으로 구성해야합니까? 자세한 내용은 스크린 샷을 참조하십시오.

해결법

    from https://stackoverflow.com/questions/48260146/hadoop-map-reduce-job-failed by cc-by-sa and MIT license