[HADOOP] Apache Giraph - 한 번에 하나의 작업 만 있기 때문에 분할 마스터 / 작업자 모드에서 실행할 수 없습니다.

Apache Giraph - 한 번에 하나의 작업 만 있기 때문에 분할 마스터 / 작업자 모드에서 실행할 수 없습니다.

여기에 PageRank Benchmark 예제를 사용하여 hadoop 2.2.0으로 Giraph 1.0.0을 실행했습니다.

갑자기이 오류 결과가 나타납니다.

작업자 수를 1로 변경하면 다음과 같은 결과가 나타납니다.

어떤 솔루션?

해결법

1. ==============================

   1.안녕하세요, 클러스터에서 실행되고 있지 않다고 가정하십니까? 데모 VM에서 실행하면 동일한 오류가 발생합니다.

   안녕하세요, 클러스터에서 실행되고 있지 않다고 가정하십니까? 데모 VM에서 실행하면 동일한 오류가 발생합니다.

   giraph-site.xml에서 스플릿 마스터 워커 동작을 비활성화 할 수 있습니다

   giraph.SplitMasterWorker=false
   

   원샷 실행 중에이 기능을 비활성화하려면 명령 줄 매개 변수로 프로그램에 전달할 수도 있습니다.

   -ca giraph.SplitMasterWorker=false
   

   예를 들어 다음과 같이 Big Data 강의를위한 데모를 실행합니다.

   #!/bin/bash
   
   yarn jar /root/giraph-0.0.1-SNAPSHOT-jar-with-dependencies.jar org.apache.giraph.GiraphRunner at.jku.tk.steinbauer.bigdata.giraph.MaxInDegreeComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hue/graph/tinygraph.txt -of org.apache.giraph.io.formats.IdWithValueTextOutputFormat  -op /user/hue/graph/degree -w 1 -ca giraph.SplitMasterWorker=false
   

from https://stackoverflow.com/questions/26175116/apache-giraph-cannot-run-in-split-master-worker-mode-since-there-is-only-1-t by cc-by-sa and MIT license