[HADOOP] 하둡 / MR 임시 디렉토리

하둡 / MR 임시 디렉토리

내가 하둡과지도를 받고 고민했습니다 / 내 루트 디렉토리에 / tmp를 대신 별도의 임시 디렉토리를 사용하기 시작 줄입니다.

나는 내 코어를 site.xml 설정 파일에 다음을 추가했습니다 :

<property>
    <name>hadoop.tmp.dir</name>
    <value>/data/tmp</value>
</property>

나는 내 맵리 듀스-site.xml의 설정 파일에 다음을 추가했습니다 :

<property>
    <name>mapreduce.cluster.local.dir</name>
    <value>${hadoop.tmp.dir}/mapred/local</value>
</property>
<property>
    <name>mapreduce.jobtracker.system.dir</name>
    <value>${hadoop.tmp.dir}/mapred/system</value>
</property>
<property>
    <name>mapreduce.jobtracker.staging.root.dir</name>
    <value>${hadoop.tmp.dir}/mapred/staging</value>
</property>
<property>
   <name>mapreduce.cluster.temp.dir</name>
   <value>${hadoop.tmp.dir}/mapred/temp</value>
</property>

아무리 그래도 실행 어떤 작업, 여전히 / tmp 디렉토리에 중간 모든 작업을하지 않는 것입니다. 나는 안양 -h를 통해 그것을 나는 거기에 갈 때,이 생성 임시 파일을 모두가 지켜보고했습니다.

나는 설정에서 뭔가를 놓치고 있습니까?

이것은 하둡 / 원사 맵리 듀스의 2.1.0.2.0.6.0를 실행하는 10 노드 리눅스 CentOS는 클러스터에 있습니다.

편집하다: 일부 추가 연구 후, 설정 내 관리 및 namednode / secondarynamed 노드 상자에서 일하게 될 것으로 보인다. 그것은 단지이 작동하지 않는 데이터 노드에 있고 그것은 단지 아직도이 구성 파일에서 설정 한 위치를 내 데이터가 탑재되지, 내 루트 드라이브에 TMP /로 가고있는 맵리 듀스 임시 출력 파일입니다.

해결법

1. ==============================

   1.당신은 하둡 2.0을 실행하는 경우, 다음 설정의 적절한 이름은하지 맵리 듀스-site.xml의-site.xml 파일을 mapred되어 변경해야 할 파일.

   당신은 하둡 2.0을 실행하는 경우, 다음 설정의 적절한 이름은하지 맵리 듀스-site.xml의-site.xml 파일을 mapred되어 변경해야 할 파일.

   예는 아파치 사이트에서 찾을 수 있습니다 : http://hadoop.apache.org/docs/r2.3.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

   그것은 지역 mapred $ {hadoop.tmp.dir} / 기본값 /과 함께 mapreduce.cluster.local.dir 속성 이름을 사용

   당신은 / etc / 하둡 / conf의 / 디렉토리에-site.xml 파일을 mapred하고 그것을 해결되는지 확인하기 위해 맵리 듀스-site.xml 파일의 이름을 변경하십시오.

   당신이 Ambari를 사용하는 경우, 당신은 단지 속성 이름에 대한 MapReduce2 / 사용자 정의 mapred-site.xml의 섹션에서 "속성 추가"버튼을 사용하여 'mapreduce.cluster.local.dir'을 입력 갈 수 및한다 쉼표 사용하려는 디렉토리의 목록을 분리했다.

2. ==============================

   2.난 당신이 HDFS-site.xml 파일에서이 속성을 설정 HDFS-site.xml 파일이 아닌 코어 site.xml.Try에서이 속성을 지정할 필요가 있다고 생각합니다. 나는이 문제를 해결 희망

   난 당신이 HDFS-site.xml 파일에서이 속성을 설정 HDFS-site.xml 파일이 아닌 코어 site.xml.Try에서이 속성을 지정할 필요가 있다고 생각합니다. 나는이 문제를 해결 희망

3. ==============================

   3.맵리 듀스 속성은 mapred-site.xml 파일에 있어야합니다.

   맵리 듀스 속성은 mapred-site.xml 파일에 있어야합니다.

4. ==============================

   4.나는 어떤 노드가 설정에서 설정 한 hadoop.tmp.dir을 존중하지 않을 유사한 문제에 직면했다.

   나는 어떤 노드가 설정에서 설정 한 hadoop.tmp.dir을 존중하지 않을 유사한 문제에 직면했다.

   오작동 노드의 재부팅이 나를 위해 그것을 해결했습니다.

from https://stackoverflow.com/questions/20644725/hadoop-mr-temporary-directory by cc-by-sa and MIT license