[HADOOP] Apache Giraph - 한 번에 하나의 작업 만 있기 때문에 분할 마스터 / 작업자 모드에서 실행할 수 없습니다.
HADOOPApache Giraph - 한 번에 하나의 작업 만 있기 때문에 분할 마스터 / 작업자 모드에서 실행할 수 없습니다.
여기에 PageRank Benchmark 예제를 사용하여 hadoop 2.2.0으로 Giraph 1.0.0을 실행했습니다.
갑자기이 오류 결과가 나타납니다.
작업자 수를 1로 변경하면 다음과 같은 결과가 나타납니다.
어떤 솔루션?
해결법
-
==============================
1.안녕하세요, 클러스터에서 실행되고 있지 않다고 가정하십니까? 데모 VM에서 실행하면 동일한 오류가 발생합니다.
안녕하세요, 클러스터에서 실행되고 있지 않다고 가정하십니까? 데모 VM에서 실행하면 동일한 오류가 발생합니다.
giraph-site.xml에서 스플릿 마스터 워커 동작을 비활성화 할 수 있습니다
giraph.SplitMasterWorker=false
원샷 실행 중에이 기능을 비활성화하려면 명령 줄 매개 변수로 프로그램에 전달할 수도 있습니다.
-ca giraph.SplitMasterWorker=false
예를 들어 다음과 같이 Big Data 강의를위한 데모를 실행합니다.
#!/bin/bash yarn jar /root/giraph-0.0.1-SNAPSHOT-jar-with-dependencies.jar org.apache.giraph.GiraphRunner at.jku.tk.steinbauer.bigdata.giraph.MaxInDegreeComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hue/graph/tinygraph.txt -of org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hue/graph/degree -w 1 -ca giraph.SplitMasterWorker=false
from https://stackoverflow.com/questions/26175116/apache-giraph-cannot-run-in-split-master-worker-mode-since-there-is-only-1-t by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] HDFS에서 Hive 테이블로 데이터 가져 오기 (0) | 2019.08.06 |
---|---|
[HADOOP] 1 시간이 걸리는 hbase에 1GB 데이터로드 (0) | 2019.08.06 |
[HADOOP] oozie 작업에서 다중 libpath를 어떻게 지정합니까? (0) | 2019.08.06 |
[HADOOP] textinputformat.record.delimiter를 하이브 cli / beeline 내에서 기본값으로 재설정하는 방법은 무엇입니까? (0) | 2019.08.06 |
[HADOOP] hadoop을 사용하는 동안 로거 API를 사용하여 자바 로그 파일을 작성하는 방법 (0) | 2019.08.06 |