[HADOOP] hadoop 맵에서의 에러 핸들링 감소

hadoop 맵에서의 에러 핸들링 감소

문서를 기반으로지도에서 오류 처리가 어떻게 수행되는지에 대한 몇 가지 방법이 있습니다. 아래는 몇 가지 예입니다.

에이. 모든 실패한 레코드에 대해 enum - increment를 사용하는 사용자 지정 카운터.

비. 오류를 기록하고 나중에 분석하십시오.

카운터는 실패한 레코드의 수를 제공합니다. 그러나 실패한 레코드의 식별자 (고유 키일 수 있음)를 얻고 오류의 세부 정보가 발생한 노드 - 오류가 발생한 노드 - 중앙 로그 분석을 수행해야하며 많은 노드가 실행 중입니다. Logstash가 사용 가능합니다.

이 외에도 수동 조작없이 오류 시나리오를 처리 할 수있는 다른 방법이 있습니까? 모든 도구, 참조 정보, 모범 사례를 환영합니다.

나는 똑같은 기술이 사소한 변화로 모든 분산 어플리케이션에 적용된다고 생각한다.

해결법

1. ==============================

   1.오류 처리와 관련하여 질문 할 질문은 거의 없습니다.

   오류 처리와 관련하여 질문 할 질문은 거의 없습니다.

from https://stackoverflow.com/questions/32255196/error-handling-in-hadoop-map-reduce by cc-by-sa and MIT license