[HADOOP] 하둡 2.6.0 사용하여 Windows에 단어 수 하둡 예제를 실행

하둡 2.6.0 사용하여 Windows에 단어 수 하둡 예제를 실행

나는 하둡에 새로운 오전 2.X 버전, 내 로컬 Windows 7 64 비트 시스템에서 하둡을 시도 할 수 있다는 것을 배웠습니다. 나는 하둡 2.6.0 설치 Cygwin에서를 설치했습니다. 나는 빈 / 하둡 버전을 실행할 수 있지만, jar 명령을 실행하는 동안 나는 아래의 오류가 발생합니다 : 참고 : 나는 또한 하둡 - 공통 2.2.0.jar에서, 빈의 winutils.jar에 놓여있다. 도와주세요. 이 오류를 제거 할 수 없습니다입니다. 나는 또한 입력 및 출력 매개 변수를 입력, 그것은 여전히 ​​실패합니다.

$ bin/hadoop jar /Hadoop/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount
15/02/03 12:40:45 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:355)
at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:370)
at org.apache.hadoop.util.Shell.<clinit>(Shell.java:363)
at org.apache.hadoop.util.GenericOptionsParser.preProcessForWindows
(GenericOptionsParser.java:438)
at org.apache.hadoop.util.GenericOptionsParser.parseGeneralOptions
(GenericOptionsParser.java:484)
at org.apache.hadoop.util.GenericOptionsParser.<init>
(GenericOptionsParser.java:170)
at org.apache.hadoop.util.GenericOptionsParser.<init>   
(GenericOptionsParser.java:153)
at org.apache.hadoop.examples.WordCount.main(WordCount.java:70)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke
(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke
(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke
(ProgramDriver.java:71)
at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)
at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke
(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke
(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Usage: wordcount <in> [<in>...] <out>

나뿐만 아니라 아래의 명령을 실행할 수 있습니다 :

$ bin/hadoop jar /Hadoop/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar

해결법

1. ==============================

   1.그것은 문제가 이전에 사용. 당신이 항아리를 통해 프로그램을 실행할 수있는 경우, 장애에 다른 뭔가가있을 수 있습니다. 같은 일이 당신이 자바 코드를 사용하여 작동하는 경우, 새로운 예외가 발생되고있는 코드를 제거하기 위해 항아리를 편집 할 수 있습니다.

   그것은 문제가 이전에 사용. 당신이 항아리를 통해 프로그램을 실행할 수있는 경우, 장애에 다른 뭔가가있을 수 있습니다. 같은 일이 당신이 자바 코드를 사용하여 작동하는 경우, 새로운 예외가 발생되고있는 코드를 제거하기 위해 항아리를 편집 할 수 있습니다.

   bin 디렉토리가 winutils.exe 및 hadoop.dll이 포함 된 경우 이중 확실히 확인합니다.

   그들은 존재하지 않는 경우에, 기회는 다른 사람이 유사한 문제를 직면해야하며 파일을 보관 한 것입니다. 하둡은 OS에 소스 코드에서 빌드 할 때이 파일이 만들어집니다.

2. ==============================

   2.그것은 하둡 winutils의 설치 한 것을 하둡 2.6.0 및 이전 버전처럼 보인다. 당신은 당신의 현재 하둡 버전의 하둡 winutils를 설치해야합니다. 이 github의의의 repo https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.0/bin에서 winutils을 다운로드하려고 마지막으로 winutils bin 디렉토리와 bin 디렉토리를 교체!

   그것은 하둡 winutils의 설치 한 것을 하둡 2.6.0 및 이전 버전처럼 보인다. 당신은 당신의 현재 하둡 버전의 하둡 winutils를 설치해야합니다. 이 github의의의 repo https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.0/bin에서 winutils을 다운로드하려고 마지막으로 winutils bin 디렉토리와 bin 디렉토리를 교체!

from https://stackoverflow.com/questions/28291955/running-wordcount-hadoop-example-on-windows-using-hadoop-2-6-0 by cc-by-sa and MIT license