[HADOOP] Hadoop - 처리 단계를 이해하는 데 필요한 도움말

Hadoop - 처리 단계를 이해하는 데 필요한 도움말

나는 파일을 압축하고 크기 5-10kb의 8 xml 파일을 포함하고있다. 테스트 목적으로이 데이터를 사용했습니다. 압축 된 파일의 압축을 풀기 위해 하나의 맵 전용 프로그램을 작성했습니다. MR2에서 프로그램을 작성하고 Psuedo 분산 모드에서 Hadoop 2.7.1을 사용했습니다. sbin / start-dfs.sh 명령을 사용하여 클러스터를 시작합니다. 몇 초 안에 파일 시스템에서 압축 해제 된 출력을 볼 수 있지만 처리는 다음 5-6 분 동안 계속됩니다. 나는 이유를 모른다.

MR 프로그램은이 단계까지 파일을 압축 해제했으며이 파일을보고 다운로드 할 수 있습니다.

내 mapreduce 프로그램에서 처리중인 것을 이해하지 못합니다. 내 코드에서 MR2 API를 사용하고 있으며 왜 MR1 API (지도형)를 사용하고 있습니까? 내가 128 메가 바이트의 압축 파일을 가지고 있고 5-10 분 동안 압축을 풀고 다른 작업을하면서 바쁘다면 상황이 더욱 악화됩니다.

내가 받아 들일 수없는 상황에 처해있는 성능으로, 두 번째 스크린 샷에서 hadoop이 처리하는 작업을 이해해야합니다.

설치 문제, 프로그램 문제 또는 기타 문제인지 이해하도록 도와주십시오.

해결법

1. ==============================

   1.이 문제는 config이며 mapred-site.xml 파일의 변경 사항으로 해결됩니다.

   이 문제는 config이며 mapred-site.xml 파일의 변경 사항으로 해결됩니다.

   <configuration>
   <property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
    </property>
   </configuration>
   

from https://stackoverflow.com/questions/32787996/hadoop-help-required-to-understand-the-processing-steps by cc-by-sa and MIT license