[HADOOP] Windows의 Hadoop [폐쇄]

Windows의 Hadoop [폐쇄]

저는 Microsoft Windows 사용자이고 Apache Hadoop을 처음 사용합니다. 내가 찾은 대부분의 Hadoop 튜토리얼은 Linux 기반이므로 Windows에서 Hadoop을 배우는 것이 어렵다는 것을 알고 있습니다. Windows에서 Hadoop을 배울 수있는 모든 포인터가 가장 좋습니다.

해결법

1. ==============================

   1.주요 목표가 Hadoop을 배우는 것이라면 Windows 또는 Linux에서 배우는 것이 중요하지 않습니다. 왜냐하면 모든 플랫폼에서 모두 똑같기 때문입니다. 나는 두 플랫폼 모두에서 Hadoop을 광범위하게 사용했으며 모든 명령과 처리가 Windows와 Linux에서 동일하다는 것을 발견했습니다. 그래서 내 제안은 다음과 같습니다.

   주요 목표가 Hadoop을 배우는 것이라면 Windows 또는 Linux에서 배우는 것이 중요하지 않습니다. 왜냐하면 모든 플랫폼에서 모두 똑같기 때문입니다. 나는 두 플랫폼 모두에서 Hadoop을 광범위하게 사용했으며 모든 명령과 처리가 Windows와 Linux에서 동일하다는 것을 발견했습니다. 그래서 내 제안은 다음과 같습니다.

   Windows 상자에서 가상 시스템에 액세스하고 Linux에있는 자습서를 정확히 따르십시오.

2. ==============================

   2."Syncfusion BigData Studio"를 사용하여 로컬 시스템에 단일 노드 클러스터를 실행하고 필요한 에코 시스템을 설치할 수도 있습니다. 또한 "Syncfusion BigData Platform"을 사용하면 사용자가 직접 수작업으로 구성하지 않고도 쉽게 클러스터를 관리 할 수 ​​있습니다. 이 두 가지 설정은 "모든 사람이 100 % 무료"입니다.

   "Syncfusion BigData Studio"를 사용하여 로컬 시스템에 단일 노드 클러스터를 실행하고 필요한 에코 시스템을 설치할 수도 있습니다. 또한 "Syncfusion BigData Platform"을 사용하면 사용자가 직접 수작업으로 구성하지 않고도 쉽게 클러스터를 관리 할 수 ​​있습니다. 이 두 가지 설정은 "모든 사람이 100 % 무료"입니다.

   설치 프로그램을 다운로드하고 자세한 내용을 보려면 http://www.syncfusion.com/products/big-data를 참조하십시오.

3. ==============================

   3.Amazon Elastic MapReduce를 사용해 볼 수도 있습니다. Linux 경험이 없으면 더욱 효율적입니다.

   Amazon Elastic MapReduce를 사용해 볼 수도 있습니다. Linux 경험이 없으면 더욱 효율적입니다.

4. ==============================

   4.Windows 7, cygwin-1.7, jdk1.7_x64에서 Hadoop-1.0.1을 이식했습니다.

   Windows 7, cygwin-1.7, jdk1.7_x64에서 Hadoop-1.0.1을 이식했습니다.

   하지만 초보자를위한 것은 아닙니다 : 당신은 hadoop을 패치하고 다시 컴파일해야합니다.

   http://sourceforge.net/p/win-hadoop/wiki/Hadoop-on-Cygwin/

5. ==============================

   5.한 대의 컴퓨터에서 실행되는 가상 2 노드 클러스터로 Windows에서 Hadoop을 기본적으로 사용합니다. 그것은 Cygwin에서 실행됩니다 (그래서 VM은 없습니다). Hadoop을 사용해 보시려면 잘 작동합니다. 그리고 클러스터에 넣기 전에 새 코드를 작은 코드로 테스트하는 데 여전히 사용합니다. 기본적으로 전체 클러스터와 마찬가지로 모든 기능을 갖추고 있습니다. 그래도 일하는 것은 조금 까다로울 수 있습니다.

   한 대의 컴퓨터에서 실행되는 가상 2 노드 클러스터로 Windows에서 Hadoop을 기본적으로 사용합니다. 그것은 Cygwin에서 실행됩니다 (그래서 VM은 없습니다). Hadoop을 사용해 보시려면 잘 작동합니다. 그리고 클러스터에 넣기 전에 새 코드를 작은 코드로 테스트하는 데 여전히 사용합니다. 기본적으로 전체 클러스터와 마찬가지로 모든 기능을 갖추고 있습니다. 그래도 일하는 것은 조금 까다로울 수 있습니다.

   나는 다음의 짧은 안내서를 사용했다 : Stanford Hadoop for Windows guide

   어느 날 잘 됐어. 0.20.0을 사용하는 것이 매우 중요합니다! 더 높은 버전은 Cygwin에서 실행되지 않습니다. 기본 노드 수를 2로 두는 것이 가장 좋습니다. 이렇게하면 여러 노드에서 작업을 분할하는 작업을 테스트 할 수 있지만 더 많은 동시 노드로 인해 메모리 문제가 발생할 수 있습니다.

6. ==============================

   6.Hadoop 2.2의 최신 릴리스에서는 릴리스 정보에이 버전이 Windows에서 Hadoop을 실행하는 데 중요한 개선점이 있음을 알 수 있습니다. 나는 어제 Hadoop 2.2를 다운로드했고 .cmd 파일과 함께 많은 .sh 파일을 보았습니다.이 파일에는 Windows 환경에서 Hadoop을 실행하기위한 스크립트와 배치 파일이 있음을 보장합니다. 그러나 Apache Hadoop 문서를 보면서 Windows에이 새로운 버전을 설치하고 실행하는 방법에 대한 단계별 지침을 찾을 수 없었습니다. 이 외에도 최신 버전에는 YARN 아키텍처가 내장되어 있으며 일부 온라인 자습서에서 제공되는 이전 구성은 더 이상 사용할 수없고 적용되지 않을 수 있습니다. Hadoop 2.2를 온라인에서 구할 수있는 좋은 문서가 있습니까? 나는 Hadoop을 Win으로 돌리는 데 특히 필요하다.

   Hadoop 2.2의 최신 릴리스에서는 릴리스 정보에이 버전이 Windows에서 Hadoop을 실행하는 데 중요한 개선점이 있음을 알 수 있습니다. 나는 어제 Hadoop 2.2를 다운로드했고 .cmd 파일과 함께 많은 .sh 파일을 보았습니다.이 파일에는 Windows 환경에서 Hadoop을 실행하기위한 스크립트와 배치 파일이 있음을 보장합니다. 그러나 Apache Hadoop 문서를 보면서 Windows에이 새로운 버전을 설치하고 실행하는 방법에 대한 단계별 지침을 찾을 수 없었습니다. 이 외에도 최신 버전에는 YARN 아키텍처가 내장되어 있으며 일부 온라인 자습서에서 제공되는 이전 구성은 더 이상 사용할 수없고 적용되지 않을 수 있습니다. Hadoop 2.2를 온라인에서 구할 수있는 좋은 문서가 있습니까? 나는 Hadoop을 Win으로 돌리는 데 특히 필요하다.

7. ==============================

   7.필자는 Windows에서 Hadoop을 컴파일했으며 zetabyte의 "Windows 용 Apache Hadoop"이라고 발표했습니다. 사용할 수있는 핵심 / 공통 패키지와 GNU 환경 (bash 등)이 포함 된 패키지가 있습니다.

   필자는 Windows에서 Hadoop을 컴파일했으며 zetabyte의 "Windows 용 Apache Hadoop"이라고 발표했습니다. 사용할 수있는 핵심 / 공통 패키지와 GNU 환경 (bash 등)이 포함 된 패키지가 있습니다.

from https://stackoverflow.com/questions/10310736/hadoop-on-windows by cc-by-sa and MIT license