[HADOOP] 하둡에서 매퍼 출력이 저장되는 위치는 어디입니까?

하둡에서 매퍼 출력이 저장되는 위치는 어디입니까?

Hadoop 셔플 링 트래픽을 효율적으로 관리하고 네트워크 대역폭을 효과적으로 활용하는 데 관심이 있습니다. 이렇게하려면 각 Datanodes에 의해 생성 된 트래픽을 얼마나 많이 셔플하고 싶습니까? 트래픽을 섞는 것은 매퍼의 출력 일뿐입니다. 그렇다면이 매퍼 출력은 어디에 저장됩니까? 실시간으로 각 데이터 노드의 매퍼 출력 크기를 얻으려면 어떻게해야합니까? 당신의 도움을 주셔서 감사합니다.

다음과 같이이 매퍼 출력을 저장할 디렉토리를 만들었습니다.

 <property>
 <name>mapred.local.dir</name>
 <value>/app/hadoop/tmp/myoutput</value>
 </property>                     

그리고 나는 보았다.

 hduser@dn4:/app/hadoop/tmp/myoutput$ ls -lrt
 total 16
 drwxr-xr-x 2 hduser hadoop 4096 Dec 12 10:50 tt_log_tmp
 drwx------ 3 hduser hadoop 4096 Dec 12 10:53 ttprivate
 drwxr-xr-x 3 hduser hadoop 4096 Dec 12 10:53 taskTracker
 drwxr-xr-x 4 hduser hadoop 4096 Dec 12 13:25 userlogs  

지도 굴삭 작업을 할 때 여기서 아무것도 찾을 수 없었습니다.

감사

해결법

1. ==============================

   1.맵 작업의 출력은 맵퍼의 로컬 디스크에 저장됩니다. 맵 작업이 완료되면이 로컬 출력이 축소기로 전송됩니다. $ HADOOP_HOME / conf / mapred-site.xml을 검사하여 매퍼 출력이 저장된 위치를 확인할 수 있습니다.

   맵 작업의 출력은 맵퍼의 로컬 디스크에 저장됩니다. 맵 작업이 완료되면이 로컬 출력이 축소기로 전송됩니다. $ HADOOP_HOME / conf / mapred-site.xml을 검사하여 매퍼 출력이 저장된 위치를 확인할 수 있습니다.

   <property>
       <name>mapred.local.dir</name>
       <value>$DIR</value>
   </property>
   

from https://stackoverflow.com/questions/27437964/where-mapper-output-in-hadoop-is-saved by cc-by-sa and MIT license