[HADOOP] 오류 의사 분산 모드에서 mapred.map.tasks를 설정할 때

오류 의사 분산 모드에서 mapred.map.tasks를 설정할 때

여기에 제안, 나는 다음과 같은 mapred-site.xml 파일에 pseudodistributed 모드에서 하둡을 실행하고 있습니다. 작업은 4 코어 시스템에서 실행됩니다.

<configuration>
   <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>  
   </property>
   <property>
     <name>mapred.map.tasks</name> 
     <value>4</value> 
  </property>
  <property>
     <name>mapred.reduce.tasks</name> 
     <value>4</value> 
  </property>

</configuration>

나는 다음과 같은 오류가 점점 오전 :

그 이유는 무엇인가. 이 문제를 어떻게 해결 하는가?

해결법

1. ==============================

   1.그것은 문제가 있지만, 하둡 시작하는 동안 정상적인 방법이 아니다.

   그것은 문제가 있지만, 하둡 시작하는 동안 정상적인 방법이 아니다.

   안전 모드는 파일 시스템은 읽기 전용 장착되는에 HDFS 상태이고; 복제가 수행되지 않으며, 파일이 생성되거나 삭제 될 수 있습니다. 네임 노드는 모든 DataNode에서 시간이 네임 노드에 확인하고 네임 노드 등, 아래 - 복제 된 블록을 결정하기 전에 그들이 보유하는 블록 발표 할 수 있도록, 시작으로이 자동으로 입력됩니다

   또한이 페이지에서 안전 모드가 무엇을 볼 수 있습니다.

   블록의 특정 비율이 존재하고 차지-에 대한 때까지 네임 노드는 비율이 기본적으로 HDFS-default.xml에있는 dfs.safemode.threshold.pct 매개 변수에 의해 설정되어, 기다립니다. 하지만 당신은 HDFS-site.xml 파일에서 변경할 수 있습니다.

   그

   <property>
     <name>dfs.safemode.threshold.pct</name>
     <value>0.999f</value>
     <description>
       Specifies the percentage of blocks that should satisfy 
       the minimal replication requirement defined by dfs.replication.min.
       Values less than or equal to 0 mean not to wait for any particular
       percentage of blocks before exiting safemode.
       Values greater than 1 will make safe mode permanent.
     </description>
   </property>
   

   그래서 당신은 로그가 0.9990로 끝나는 참조

   The ratio of reported blocks 1.0000 has reached the threshold 0.9990.
   

from https://stackoverflow.com/questions/8357630/error-when-setting-mapred-map-tasks-in-pseudo-distributed-mode by cc-by-sa and MIT license