복붙노트

[HADOOP] Hadoop 2.2.0 단일 노드 서버에서 Protobuf RPC를 사용할 수 없습니까?

HADOOP

Hadoop 2.2.0 단일 노드 서버에서 Protobuf RPC를 사용할 수 없습니까?

이 튜토리얼에 따라 설치된 로컬 단일 노드 클러스터에서 hadoop 2.2.0 mapreduce 작업을 실행하려고합니다. http://codesfusion.blogspot.co.at/2013/10/setup-hadoop-2x-220-on-ubuntu.html?m=1

서버 측에서는 다음과 같은 예외가 발생합니다.

org.apache.hadoop.ipc.RpcNoSuchProtocolException: Unknown protocol: org.apache.hadoop.yarn.api.ApplicationClientProtocolPB
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.getProtocolImpl(ProtobufRpcEngine.java:527)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:566)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2048)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2044)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2042)

서버 측에서 Protobuf RPC를 사용할 수 있도록 구성 할 수 있습니까? 이를 위해 hadoop 기본 라이브러리가 필요합니까? 아니면 어떻게 클라이언트 쪽에서 Writables / Avro RPC로 전환 할 수 있습니까?

해결법

  1. ==============================

    1.좋아요, 이유를 찾았습니다. 원사 자원 관리자의 잘못된 포트에 연결했습니다. 올바른 구성은 다음과 같습니다. yarn.resourcemanager.address = localhost : 8032

    좋아요, 이유를 찾았습니다. 원사 자원 관리자의 잘못된 포트에 연결했습니다. 올바른 구성은 다음과 같습니다. yarn.resourcemanager.address = localhost : 8032

  2. ==============================

    2.필자의 경우 Application Master와 YARN 컨테이너 사이에 메모리가 충분하지 않은 경우 로그에 동일한 오류가 발생했습니다. yarn.app.mapreduce.am.resource.mb 속성을 줄이고 단일 노드 설치에서 작동했습니다.

    필자의 경우 Application Master와 YARN 컨테이너 사이에 메모리가 충분하지 않은 경우 로그에 동일한 오류가 발생했습니다. yarn.app.mapreduce.am.resource.mb 속성을 줄이고 단일 노드 설치에서 작동했습니다.

  3. from https://stackoverflow.com/questions/20163657/protobuf-rpc-not-available-on-hadoop-2-2-0-single-node-server by cc-by-sa and MIT license