복붙노트

[HADOOP] Windows 서버의 Hadoop

HADOOP

Windows 서버의 Hadoop

난 기존의 Windows 2003 서버 (16 기가 바이트 코어 머신과 RAM의 16 기가 바이트)에 큰 텍스트 파일을 처리하기 위해 hadoop을 사용하려고 생각하고있다.

질문은 다음과 같습니다.

감사

해결법

  1. ==============================

    1.Hadoop 설명서에서

    Hadoop 설명서에서

    내가 생각하기에 "너 혼자 야."

    즉, Hadoop wiki의 Getting Started 페이지에 따르면 Cygwin과 Java shim을 설치하는 것이 기발하지 않은 경우 희망이있을 수 있습니다.

    결론은 불가능하다고 생각하지 않는다는 것입니다 만, 당신은 상류에서 수영을 할 것입니다. 몇 가지 Hadoop 설치 (Linux for production, Mac for dev)를 지금하고 있었고 다른 플랫폼에서는 그렇게 간단 할 때 Windows를 사용하지 않아도됩니다.

  2. ==============================

    2.답을 듣고 싶지는 않지만 Linux 서버처럼 장비를 용도 변경하여 Hadoop을 실행하는 것이 좋습니다. 해당 플랫폼에서 수행되는 자습서와 경험 및 테스트를 통해 이점을 얻고 운영 문제가 아닌 비즈니스 문제를 해결하는 데 시간을 할애 할 수 있습니다.

    답을 듣고 싶지는 않지만 Linux 서버처럼 장비를 용도 변경하여 Hadoop을 실행하는 것이 좋습니다. 해당 플랫폼에서 수행되는 자습서와 경험 및 테스트를 통해 이점을 얻고 운영 문제가 아닌 비즈니스 문제를 해결하는 데 시간을 할애 할 수 있습니다.

    그러나 C #으로 작업을 작성할 수 있습니다. Hadoop은 "스트리밍"구현을 지원하므로 모든 언어로 작업을 작성할 수 있습니다. Mono 프레임 워크를 사용하면 Windows 플랫폼에서 작성된 모든 .NET 코드를 가져 와서 Linux에서 동일한 바이너리를 실행할 수 있습니다.

    Windows에서 Hadoop 서비스를 실행하는 것을 권장하지 않지만 Windows 플랫폼에서 DFS 클라이언트를 실행하여 분산 파일 시스템 안팎으로 파일을 복사 할 수 있습니다.

    제출 및 모니터링 작업의 경우, 주로 자신 만의 것이라고 생각합니다. 아직 하둡 작업 관리를 위해 개발 된 좋은 범용 시스템이 있다고 생각하지 않습니다.

  3. ==============================

    3.map / reduce를 찾고 있다면, http://qizmt.myspace.com/에서 실행되는 MySpace의 새로운 map / reduce 프레임 워크를 살펴볼 수 있습니다.

    map / reduce를 찾고 있다면, http://qizmt.myspace.com/에서 실행되는 MySpace의 새로운 map / reduce 프레임 워크를 살펴볼 수 있습니다.

  4. from https://stackoverflow.com/questions/467911/hadoop-on-windows-server by cc-by-sa and MIT license