[HADOOP] 창문에 hadoop 2.2 빌드

창문에 hadoop 2.2 빌드

Windows에 hadoop을 설치하려고하는데, 지금까지는 번거롭기 만합니다.

여기에 계속 오류가 있습니다.

[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2:exec (compile-ms-winutils) on project hadoop-common: Command execution failed. Cannot run program "msbuild" (in directory "C:\hdfs\hadoop-common-project\hadoop-common"): CreateProcess error=2, The system cannot find the file specified -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :hadoop-common

msbuild.exe, windows sdk7.1, cygwin64, maven3.0.5, jdk7 모두 내 Windows 7 x64 상자 환경에 설치되어 있습니다.

이것은 아파치 웹 사이트에서 다운로드 한 hadoop 2.2.0 src입니다.

시스템 환경에서, 나는 설정했다.

C:\Windows\Microsoft.NET\Framework64\v4.0.30319

이것은 msbuild에 대한 경로이지만 여전히 작동하지 않습니다. 누구든지이 문제를 해결하는 방법을 알고 있습니까?

감사

최신 정보: hadoop-common-project \ hadoop-common에서 pom.xml을 조금 변경했습니다.

<executable>msbuild</executable>

에

<executable>msbuild.exe</executable>

이제 다음 오류가 발생합니다.

[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2:exec (compile-ms-winutils) on project hadoop-common: Command execution failed. Process exited with an error: 1(Exit value: 1) -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :hadoop-common

해결법

1. ==============================

   1.이 문제에 대한 해결책을 찾았습니다. 윈도우 8.1에 VS 2012가 있습니다. 이 정확한 문제에 직면했다. 나는 hadoop-common 아래에서 pom.xml을 체크 아웃했다. 그 실행 ID와 다음 명령을 실행

   이 문제에 대한 해결책을 찾았습니다. 윈도우 8.1에 VS 2012가 있습니다. 이 정확한 문제에 직면했다. 나는 hadoop-common 아래에서 pom.xml을 체크 아웃했다. 그 실행 ID와 다음 명령을 실행

   F:\HDP>msbuild F:\HDP\hadoop-common-project\hadoop-common\src\main\winutils\winutils.sln /nologo/p:Configuration=Release;OutDir=bin
   

   그것은 나에게 다음과 같은 예외를 주었다.

   C:\Program Files(x86)\MSBuild\Microsoft.Cpp\v4.0\V110\Microsoft.Cpp.Platform.targets(42,5): error MSB8020: The builds tools for Visual Studio 2010 (Platform Toolset ='v100') cannot be found.
   To build using the v100 build tools, either click the Project menu or right-click the solution, and then select "Update VC++ Projects...". Install Visual Studio 2010 to build using the Visual Studio 2010 build tools.
   [F:\HDP\hadoop-common-project\hadoop-common\src\main\winutils\libwinutils.vcxproj]
   

   내 컴퓨터에 Visual Studio 2010이 없기 때문에 문제가 발생했습니다. 솔루션에서 VS 2012에서 솔루션을 열고 한 번 컴파일했습니다. maven을 다시 실행하면 또 다른 오류가 발생하지만 이번에는 hadoop-common \ src \ main \ native \ native.sln입니다. 나는 VS 2012에서도 그걸 열었고 오류 없음.

   희망이 도움이

   감사 Rohit

2. ==============================

   2.다음 단계에 따라 Hadoop 2.2.0을 설치했습니다.

   다음 단계에 따라 Hadoop 2.2.0을 설치했습니다.

   Windows 용 Hadoop 빈 배포 빌드 단계

   Hadoop 설치

   Hadoop 구성

   C : \ hadoop \ etc \ hadoop \ core-site.xml

   <configuration>
           <property>
                   <name>fs.defaultFS</name>
                   <value>hdfs://localhost:9000</value>
           </property>
   </configuration>
   

   C : \ hadoop \ etc \ hadoop \ hdfs-site.xml

   <configuration>
           <property>
                   <name>dfs.replication</name>
                   <value>1</value>
           </property>
           <property>
                   <name>dfs.namenode.name.dir</name>
                   <value>file:/hadoop/data/dfs/namenode</value>
           </property>
           <property>
                   <name>dfs.datanode.data.dir</name>
                   <value>file:/hadoop/data/dfs/datanode</value>
           </property>
   </configuration>
   

   C : \ hadoop \ etc \ hadoop \ mapred-site.xml

   <configuration>
           <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
           </property>
   </configuration>
   

   C : \ hadoop \ etc \ hadoop \ yarn-site.xml

   <configuration>
           <property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
           </property>
           <property>
              <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
              <value>org.apache.hadoop.mapred.ShuffleHandler</value>
           </property>
   </configuration>
   

   의도적 인 형식

   처음으로 namenode를 포맷해야합니다.

   C:\Users\abhijitg>cd c:\hadoop\bin 
   c:\hadoop\bin>hdfs namenode –format
   

   HDFS 시작 (네임 노드 및 데이터 노드)

   C:\Users\abhijitg>cd c:\hadoop\sbin
   c:\hadoop\sbin>start-dfs
   

   MapReduce 일명 YARN 시작 (리소스 관리자 및 노드 관리자)

   C:\Users\abhijitg>cd c:\hadoop\sbin
   c:\hadoop\sbin>start-yarn
   starting yarn daemons
   

   4 개의 별도 명령 프롬프트 창이 네임 노드, 데이터 노드, 리소스 관리자, 노드 관리자를 실행하기 위해 자동으로 열립니다.

   참고 자료 : Microsoft Windows OS에서 Apache Hadoop 2.2.0 빌드, 설치, 구성 및 실행

3. ==============================

   3.나는 똑같은 문제가 있었다. 나는 그것을 해결했다.

   나는 똑같은 문제가 있었다. 나는 그것을 해결했다.

   이제 PATH의 형식이 올바르게 지정되었으며 msbuild가 발견되었습니다.

   희망이 도움이!

   BTW : msbuild의 잘못된 버전에 대해 불만을 표시하는 경우 Visual Studio Express 2010을 설치해야합니다. 또는 다른 곳에서 읽으면서 VisualStudioExpress2012를 사용하고 VS100COMNTOOLS를 가리키는 VS1COMCOMTOOLS를 설정할 수 있습니다.

4. ==============================

   4.CMake.exe가 필요할 수도 있습니다 - 공식 링크 http://www.cmake.org/download/를 사용하십시오.

   CMake.exe가 필요할 수도 있습니다 - 공식 링크 http://www.cmake.org/download/를 사용하십시오.

   unzipped hadoop-2.6.0-src.tar.gz 또는 사용자 버전에있는 BUILDING.txt 파일을 엽니 다. Windows 용 빌드 방법 -이 모든 것을 확인하십시오.

   내 BUILDING.txt는 말합니다 :

   Building on Windows
   Requirements:
   
   * Windows System
   * JDK 1.6+
   * Maven 3.0 or later
   * Findbugs 1.3.9 (if running findbugs)
   * ProtocolBuffer 2.5.0
   * CMake 2.6 or newer
   * Windows SDK or Visual Studio 2010 Professional
   * Unix command-line tools from GnuWin32 or Cygwin: sh, mkdir, rm, cp, tar, gzip
   * zlib headers (if building native code bindings for zlib)
   * Internet connection for first build (to fetch all Maven and Hadoop dependencies)
   
   If using Visual Studio, it must be Visual Studio 2010 Professional (not 2012).
   Do not use Visual Studio Express.  It does not support compiling for 64-bit,
   which is problematic if running a 64-bit system.  The Windows SDK is free to
   download here:
   
   http://www.microsoft.com/en-us/download/details.aspx?id=8279    
   

5. ==============================

   5.이 문서와 여기에 언급 된 모든 단계를 수행 한 후에도 다음 오류가 발생합니다.

   이 문서와 여기에 언급 된 모든 단계를 수행 한 후에도 다음 오류가 발생합니다.

   Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.3.1:exec 
   (compile-ms-winutils) on project hadoop-common
   

   자세한 오류가있다 :

   You are attempting to build a Win32 application from an x64 environment. 
   If using the Windows 7.1 SDK build environment, type setenv /x86
   

   그래서 다음 환경 변수를 추가하고 그 문제를 해결했습니다.

   Platform: x64
   

6. ==============================

   6.경로에 문제가있는 것 같습니다.

   경로에 문제가있는 것 같습니다.

   환경 변수 경로에 msbuild 경로 추가

7. ==============================

   7.이 문제는 아래 두 단계로 해결할 수있었습니다.

   이 문제는 아래 두 단계로 해결할 수있었습니다.

   1) 환경 변수 경로에 MsBuild 경로 (C : \ Windows \ Microsoft.NET \ Framework64 \ v4.0.30319) 추가

   2) Microsoft-Visual-Studio-2010-Professional 설치 http://download.cnet.com/Microsoft-Visual-Studio-2010-Professional/3000-2212_4-10618634.html

   참고 : Visual Studio-2010-Professional을 설치하기 전에 Windows-SDK-7.1을 사용해 보았습니다. 그래서 Visual Studio-2010-Professional을 설치하기 전에 Windows-SDK-7.1을 제거했습니다. 또한 Visual Studio-2010-Professional에 제공 한 링크는 평가판입니다.

from https://stackoverflow.com/questions/20592050/build-hadoop-2-2-on-windows by cc-by-sa and MIT license