[HADOOP] Windows 서버의 Hadoop
HADOOPWindows 서버의 Hadoop
난 기존의 Windows 2003 서버 (16 기가 바이트 코어 머신과 RAM의 16 기가 바이트)에 큰 텍스트 파일을 처리하기 위해 hadoop을 사용하려고 생각하고있다.
질문은 다음과 같습니다.
감사
해결법
-
==============================
1.Hadoop 설명서에서
Hadoop 설명서에서
내가 생각하기에 "너 혼자 야."
즉, Hadoop wiki의 Getting Started 페이지에 따르면 Cygwin과 Java shim을 설치하는 것이 기발하지 않은 경우 희망이있을 수 있습니다.
결론은 불가능하다고 생각하지 않는다는 것입니다 만, 당신은 상류에서 수영을 할 것입니다. 몇 가지 Hadoop 설치 (Linux for production, Mac for dev)를 지금하고 있었고 다른 플랫폼에서는 그렇게 간단 할 때 Windows를 사용하지 않아도됩니다.
-
==============================
2.답을 듣고 싶지는 않지만 Linux 서버처럼 장비를 용도 변경하여 Hadoop을 실행하는 것이 좋습니다. 해당 플랫폼에서 수행되는 자습서와 경험 및 테스트를 통해 이점을 얻고 운영 문제가 아닌 비즈니스 문제를 해결하는 데 시간을 할애 할 수 있습니다.
답을 듣고 싶지는 않지만 Linux 서버처럼 장비를 용도 변경하여 Hadoop을 실행하는 것이 좋습니다. 해당 플랫폼에서 수행되는 자습서와 경험 및 테스트를 통해 이점을 얻고 운영 문제가 아닌 비즈니스 문제를 해결하는 데 시간을 할애 할 수 있습니다.
그러나 C #으로 작업을 작성할 수 있습니다. Hadoop은 "스트리밍"구현을 지원하므로 모든 언어로 작업을 작성할 수 있습니다. Mono 프레임 워크를 사용하면 Windows 플랫폼에서 작성된 모든 .NET 코드를 가져 와서 Linux에서 동일한 바이너리를 실행할 수 있습니다.
Windows에서 Hadoop 서비스를 실행하는 것을 권장하지 않지만 Windows 플랫폼에서 DFS 클라이언트를 실행하여 분산 파일 시스템 안팎으로 파일을 복사 할 수 있습니다.
제출 및 모니터링 작업의 경우, 주로 자신 만의 것이라고 생각합니다. 아직 하둡 작업 관리를 위해 개발 된 좋은 범용 시스템이 있다고 생각하지 않습니다.
-
==============================
3.map / reduce를 찾고 있다면, http://qizmt.myspace.com/에서 실행되는 MySpace의 새로운 map / reduce 프레임 워크를 살펴볼 수 있습니다.
map / reduce를 찾고 있다면, http://qizmt.myspace.com/에서 실행되는 MySpace의 새로운 map / reduce 프레임 워크를 살펴볼 수 있습니다.
from https://stackoverflow.com/questions/467911/hadoop-on-windows-server by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] MapReduce2에서 vcores 및 메모리를 기반으로 컨테이너를 만드는 방법은 무엇입니까? (0) | 2019.06.13 |
---|---|
[HADOOP] Hadoop mapreduce 작업에서 JVM 재사용 (0) | 2019.06.13 |
[HADOOP] 하둡 비디오 자습서 [닫기] (0) | 2019.06.13 |
[HADOOP] hadoop에서 병렬로 작업 실행 (0) | 2019.06.13 |
[HADOOP] hadoop 셔플 / 정렬 단계에서 수치로 정렬하는 방법? (0) | 2019.06.13 |