복붙노트

[HADOOP] Apache Giraph - 한 번에 하나의 작업 만 있기 때문에 분할 마스터 / 작업자 모드에서 실행할 수 없습니다.

HADOOP

Apache Giraph - 한 번에 하나의 작업 만 있기 때문에 분할 마스터 / 작업자 모드에서 실행할 수 없습니다.

여기에 PageRank Benchmark 예제를 사용하여 hadoop 2.2.0으로 Giraph 1.0.0을 실행했습니다.

갑자기이 오류 결과가 나타납니다.

작업자 수를 1로 변경하면 다음과 같은 결과가 나타납니다.

어떤 솔루션?

해결법

  1. ==============================

    1.안녕하세요, 클러스터에서 실행되고 있지 않다고 가정하십니까? 데모 VM에서 실행하면 동일한 오류가 발생합니다.

    안녕하세요, 클러스터에서 실행되고 있지 않다고 가정하십니까? 데모 VM에서 실행하면 동일한 오류가 발생합니다.

    giraph-site.xml에서 스플릿 마스터 워커 동작을 비활성화 할 수 있습니다

    giraph.SplitMasterWorker=false
    

    원샷 실행 중에이 기능을 비활성화하려면 명령 줄 매개 변수로 프로그램에 전달할 수도 있습니다.

    -ca giraph.SplitMasterWorker=false
    

    예를 들어 다음과 같이 Big Data 강의를위한 데모를 실행합니다.

    #!/bin/bash
    
    yarn jar /root/giraph-0.0.1-SNAPSHOT-jar-with-dependencies.jar org.apache.giraph.GiraphRunner at.jku.tk.steinbauer.bigdata.giraph.MaxInDegreeComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hue/graph/tinygraph.txt -of org.apache.giraph.io.formats.IdWithValueTextOutputFormat  -op /user/hue/graph/degree -w 1 -ca giraph.SplitMasterWorker=false
    
  2. from https://stackoverflow.com/questions/26175116/apache-giraph-cannot-run-in-split-master-worker-mode-since-there-is-only-1-t by cc-by-sa and MIT license