[HADOOP] 돼지 0.7.0 ERROR 2118 : 입력을 만들 수 없습니다 하둡 1.2.1에 분할

돼지 0.7.0 ERROR 2118 : 입력을 만들 수 없습니다 하둡 1.2.1에 분할

나는 프로그램을 줄일지도에서 (HDFS에 저장) 출력 파일을 얻었다. 지금은 돼지 0.7.0을 사용하여 해당 파일을로드하려합니다.

나는 다음과 같은 오류를 얻고있다. 나는 로컬 컴퓨터에이 파일을 복사 시도하고 잘 작동 로컬 모드에서 돼지를 실행했다. 하지만이 단계를 건너 뛰고이 모드를 줄일지도에서 작동하도록합니다.

옵션 나는 시도했다 :

LOAD 'file://log/part-00000', 
LOAD '/log/part-00000', 
LOAD 'hdfs:/log/part-00000', 
LOAD 'hdfs://localhost:50070/log/part-00000', 

hadoop dfs -ls /log/
Warning: $HADOOP_HOME is deprecated.

Found 3 items
-rw-r--r--   3  supergroup          0 2014-02-07 07:56 /log/_SUCCESS
drwxr-xr-x   -  supergroup          0 2014-02-07 07:55 /log/_logs
-rw-r--r--   3  supergroup      10021 2014-02-07 07:56 /log/part-00000

돼지 (맵리 듀스 모드에서 실행)

grunt> REC = LOAD 'file://log/part-00000' as (CREATE_TMSTP:chararray,         MESSAGE_TYPE:chararray, MESSAGE_FROM:chararray, MESSAGE_TEXT:chararray);
grunt> DUMP REC;

Backend error message during job submission
-------------------------------------------
org.apache.pig.backend.executionengine.ExecException: ERROR 2118: Unable to create input splits for: file:///log/part-00000
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:269)
    at org.apache.hadoop.mapred.JobClient.writeNewSplits(JobClient.java:885)
    at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:779)
    at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:730)
    at org.apache.hadoop.mapred.jobcontrol.Job.submit(Job.java:378)
    at org.apache.hadoop.mapred.jobcontrol.JobControl.startReadyJobs(JobControl.java:247)
    at org.apache.hadoop.mapred.jobcontrol.JobControl.run(JobControl.java:279)
    at java.lang.Thread.run(Thread.java:695)
Caused by: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/log/part-00000
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:224)
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigTextInputFormat.listStatus(PigTextInputFormat.java:36)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:241)
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:258)
    ... 7 more

ERROR 2997: Unable to recreate exception from backend error:org.apache.pig.backend.executionengine.ExecException: ERROR 2118: Unable to create input splits for: file:///log/part-00000

org.apache.pig.impl.logicalLayer.FrontendException: ERROR 1066: Unable to open iterator for alias REC
    at org.apache.pig.PigServer.openIterator(PigServer.java:521)
    at org.apache.pig.tools.grunt.GruntParser.processDump(GruntParser.java:544)
    at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:241)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:162)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:138)
    at org.apache.pig.tools.grunt.Grunt.run(Grunt.java:75)
    at org.apache.pig.Main.main(Main.java:357)
Caused by: org.apache.pig.backend.executionengine.ExecException: ERROR 2997: Unable to recreate exception from backend error: org.apache.pig.backend.executionengine.ExecException: ERROR 2118: Unable to create input splits for: file:///log/part-00000
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.Launcher.getStats(Launcher.java:169)
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.launchPig(MapReduceLauncher.java:268)
    at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.execute(HExecutionEngine.java:308)
    at org.apache.pig.PigServer.executeCompiledLogicalPlan(PigServer.java:835)
    at org.apache.pig.PigServer.store(PigServer.java:569)
    at org.apache.pig.PigServer.openIterator(PigServer.java:504)

해결법

1. ==============================

   1.당신은 돼지의 최신 버전으로 업그레이드를 시도해야합니다. 0.7.0 꽤 몇 살입니다. 0.12.0는 현재 안정 버전입니다.

   당신은 돼지의 최신 버전으로 업그레이드를 시도해야합니다. 0.7.0 꽤 몇 살입니다. 0.12.0는 현재 안정 버전입니다.

from https://stackoverflow.com/questions/21632476/pig-0-7-0-error-2118-unable-to-create-input-splits-on-hadoop-1-2-1 by cc-by-sa and MIT license