[HADOOP] hadoop 작업 트래커 시작 오류

hadoop 작업 트래커 시작 오류

Windows-Cygwin을 사용하여 hadoop에서 간단한 프로그램을 실행하려고했습니다.

나는 namenode를 시작할 수 있습니다.

그러나 jobtracker 시작은 예외적으로 실패합니다.

FATAL mapred.JobTracker: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: local
        at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:162)
        at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:128)
        at org.apache.hadoop.mapred.JobTracker.getAddress(JobTracker.java:2560)
        at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2200)
        at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2192)
        at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2186)
        at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:300)
        at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:291)
        at org.apache.hadoop.mapred.JobTracker.main(JobTracker.java:4978)

이 문제를 해결하기 위해 가능한 모든 방법을 시도했지만 헛된. 모든 포인터가 크게 도움이 될 것입니다.

Hdfs-site.xml 구성 :

 <configuration><br>
   <property>
     <name>fs.default.name< /name>
     <value>hdfs://localhost:9100</value>
   </property>
   <property>
     <name>mapred.job.tracker< /name>
     <value>localhost:9101< /value>
   </property>
   <property>
     <name>dfs.replication< /name>
     <value>1</value>
   </property> 
 </configuration>

해결법

1. ==============================

   1.문제는 다음 행이 mapred-site.xml에 있어야하며 hdfs-site.xml이 아니라는 것입니다.

   문제는 다음 행이 mapred-site.xml에 있어야하며 hdfs-site.xml이 아니라는 것입니다.

   <property> 
   <name>mapred.job.tracker</name> 
   <value>localhost:9101</value> 
   </property>
   

   그런데 왜 Windows에서 Hadoop을 실행하려고합니까? 개발을 위해서? 당신은 리눅스 머신을 가지고 있지 않거나 리눅스 머신을 설치하는데 꺼려합니까?

   한 가지 더, 당신은 보통이 속성을 hdfs-site.xml이 아닌 core-site.xml에 넣습니다.

   <property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9100</value>
   </property>
   

2. ==============================

   2.이 페이지에서와 같이 "Pseudo Distributed"예제를 작업 할 때도 동일한 문제가 발생했습니다. http://hadoop.apache.org/docs/r1.1.2/single_node_setup.html#PseudoDistributed

   이 페이지에서와 같이 "Pseudo Distributed"예제를 작업 할 때도 동일한 문제가 발생했습니다. http://hadoop.apache.org/docs/r1.1.2/single_node_setup.html#PseudoDistributed

   그 hadoop 단순히 내 conf 파일을 데리러 아니었다 밝혀졌다. 위 링크의 예제는 hadoop 설치 (즉, /Usr/jane/hadoop-1.1.2)에서 실행 중이라고 가정합니다. 다른 디렉토리에서 예제를 실행하려고했습니다. 나는 당신이 다른 'conf'디렉토리를 인식하도록 hadoop을 구성 할 수 있다고 확신하지만, 쉬운 루트를 사용하고 hadoop 디렉토리에서 실행하기 시작했습니다.

   이 스레드는 https://issues.apache.org/jira/browse/HDFS-2515에서 알아낼 수있었습니다.

from https://stackoverflow.com/questions/10059604/error-in-starting-hadoop-job-tracker by cc-by-sa and MIT license