[HADOOP] 일식에서 hadoop 디버깅

일식에서 hadoop 디버깅

Eclipse에서 Hadoop의 소스 코드를 디버깅 할 수 있습니까?지도 축소 작업에 대해 묻지 않습니다. Hadoop 소스 코드의 어느 부분이 맵 축소 작업 예약 및 작동 방식을 담당하는지 알고 싶습니다. 수행 할 수있는 메커니즘이 있습니까?

해결법

1. ==============================

   1.Hadoop 프로젝트를 다운로드하여 이클립스에 통합하고 F5 또는 F6을 사용하여 디버깅 할 수 있습니다. 이클립스에는 다른 디버깅 모드가 있습니다.

   Hadoop 프로젝트를 다운로드하여 이클립스에 통합하고 F5 또는 F6을 사용하여 디버깅 할 수 있습니다. 이클립스에는 다른 디버깅 모드가 있습니다.

   또는 단계별로 워크 플로우를 이해하려고 시도 할 수 있습니다. 메인의 run () 메소드에서 시작할 수 있습니다.

   귀하의 질문에 대답하기 위해 : 누가지도 업무를 예약합니까?

   이 스키마에서 볼 수 있듯이 파일은 InputFormat 클래스에 의해 InputSplits라는 고정 크기 조각으로 나뉩니다. 그런 다음 각 분할은 맵 작업에 할당 된 노드 인 매퍼에 제공됩니다.

   동일한 InputFormat 클래스는 분할 및 레코드 추출 구문 분석을 담당하는 RecordReader도 제공합니다. 각 레코드는 (키, 값) 쌍으로 맵 함수에 전달됩니다. Mapper 클래스는 map 메소드를 호출하는 클래스입니다.

   wordcount 예제의 워크 플로우는 다음과 같습니다.

   여기서 FileInputFormat은 추상 클래스 InputFormat을 확장하는 추상 클래스이고 TextInputFormat은 FileInputFormat 클래스를 확장합니다.

2. ==============================

   2.다음은 Apache Hadoop 설명서의 지침입니다. 나는 그것들을 시험해 보지 않았지만 지침은 시작하기에 충분합니다.

   다음은 Apache Hadoop 설명서의 지침입니다. 나는 그것들을 시험해 보지 않았지만 지침은 시작하기에 충분합니다.

from https://stackoverflow.com/questions/23235343/debugging-hadoop-in-eclipse by cc-by-sa and MIT license