[HADOOP] 단일 노드 hadoop 서버로 실행 돼지를 기울이지 마십시오

단일 노드 hadoop 서버로 실행 돼지를 기울이지 마십시오

난 우분투와 VM을 설치했습니다. 그것은 하나의 노드로서 hadoop을 실행합니다. 나중에 나는 아파치 돼지를 설치했다. 아파치 돼지는 지역 모드에서 훌륭하게 실행되지만 항상 prom 오류 2999 : 예기치 않은 내부 오류. 데이터 저장소를 만들지 못했습니다.

나는 아주 명백한 것을 놓치고있다. 누군가 이걸 달아나도록 도와 줄 수 있니?

자세한 내용은: 1. 나는 mapReduce 작업을 파이썬으로 실행할 수 있기 때문에 hadoop이 잘 돌아가고 있다고 가정한다. 2. 내가 기대하는 돼지 -x 로컬 런. 3. 돼지를 타이프 ​​할 때 나는 다음과 같은 오류를 준다.

Error before Pig is launched
----------------------------
ERROR 2999: Unexpected internal error. Failed to create DataStorage

java.lang.RuntimeException: Failed to create DataStorage
    at org.apache.pig.backend.hadoop.datastorage.HDataStorage.init(HDataStorage.java:75)
    at org.apache.pig.backend.hadoop.datastorage.HDataStorage.(HDataStorage.java:58)
    at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.init(HExecutionEngine.java:214)
    at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.init(HExecutionEngine.java:134)
    at org.apache.pig.impl.PigContext.connect(PigContext.java:183)
    at org.apache.pig.PigServer.(PigServer.java:226)
    at org.apache.pig.PigServer.(PigServer.java:215)
    at org.apache.pig.tools.grunt.Grunt.(Grunt.java:55)
    at org.apache.pig.Main.run(Main.java:452)
    at org.apache.pig.Main.main(Main.java:107)
Caused by: java.io.IOException: Call to localhost/127.0.0.1:54310 failed on local exception: java.io.EOFException
    at org.apache.hadoop.ipc.Client.wrapException(Client.java:775)
    at org.apache.hadoop.ipc.Client.call(Client.java:743)
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
    at $Proxy0.getProtocolVersion(Unknown Source)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
    at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:106)
    at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:207)
    at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:170)
    at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95)
    at org.apache.pig.backend.hadoop.datastorage.HDataStorage.init(HDataStorage.java:72)
    ... 9 more
Caused by: java.io.EOFException
    at java.io.DataInputStream.readInt(DataInputStream.java:375)
    at org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:501)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:446)
================================================================================

해결법

1. ==============================

   1.링크가 실패 원인을 이해하는 데 도움이되었습니다.

   링크가 실패 원인을 이해하는 데 도움이되었습니다.

   여기 내 문제가 해결되었습니다. 1. hadoop없이 돼지를 다시 컴파일하십시오. 2. $ HADOOP_HOME / lib의 모든 jar를 갖도록 PIG_CLASSPATH를 업데이트하십시오 3. 돼지를 실행하십시오.

   감사.

2. ==============================

   2.정확한 HADOOP_HOME 설치를 가리 키도록 PIG_CLASSPATH를 설정하십시오. 그러면 Pig가 core-site.xml, mapreduce-site.xml 및 hdfs-site.xml에서 ur 클러스터 정보를 선택하여 올바른 설치를 위해 링크를 따르는 것이 좋습니다.

   정확한 HADOOP_HOME 설치를 가리 키도록 PIG_CLASSPATH를 설정하십시오. 그러면 Pig가 core-site.xml, mapreduce-site.xml 및 hdfs-site.xml에서 ur 클러스터 정보를 선택하여 올바른 설치를 위해 링크를 따르는 것이 좋습니다.

3. ==============================

   3.Cygwin을 설치 한 다음 Cygwin 경로를 경로 환경 변수에 추가하십시오.

   Cygwin을 설치 한 다음 Cygwin 경로를 경로 환경 변수에 추가하십시오.

   자세한 내용은 여기를 참조하십시오.

from https://stackoverflow.com/questions/6766931/cant-run-pig-with-single-node-hadoop-server by cc-by-sa and MIT license