[HADOOP] 하둡 스트리밍을위한 inputformat로 OrcNewInputformat

하둡 스트리밍을위한 inputformat로 OrcNewInputformat

나는 하둡 스트리밍을 사용하고 그리고 난은 OrcNewFormat로 입력 형식을주고 싶어 .. 내가 명령을 실행 오전 : -

하둡 항아리 하둡 - streaming.jar -libjars /usr/hdp/2.2.4.2-2/hive/lib/hive-exec.jar -input / 사용자 / org.apache -inputformat orcfiles - 출력 / streamf -mapper '고양이'. hadoop.hive.ql.io.orc.OrcNewInputFormat -outputformat org.apache.hadoop.hive.ql.io.orc.OrcNewOutputFormat

하지만 예외 아래에 무엇입니까 :

    Exception in thread "main" java.lang.RuntimeException: class org.apache.hadoop.hive.ql.io.orc.OrcNewInputFormat not org.apache.hadoop.mapred.InputFormat
        at org.apache.hadoop.conf.Configuration.setClass(Configuration.java:2150)
        at org.apache.hadoop.mapred.JobConf.setInputFormat(JobConf.java:702)
        at org.apache.hadoop.streaming.StreamJob.setJobConf(StreamJob.java:796)
        at org.apache.hadoop.streaming.StreamJob.run(StreamJob.java:128)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
        at org.apache.hadoop.streaming.HadoopStreaming.main(HadoopStreaming.java:50)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

이 링크에서

http://hive.apache.org/javadocs/r1.2.0/api/

그 클래스 OrcNewInputFormat이 org.apache.hadoop.mapreduce.InputFormat를 확장 볼 수 있지만, 예외에서 내가하지 org.apache.hadoop.mapred 클래스의 org.apache.hadoop.hive.ql.io.orc.OrcNewInputFormat을 알아낼 수 있습니다. InputFormat.

내가 무슨 말이냐?

해결법

1. ==============================

   1.IT는 이제 내가 잘못 클래스 명을주고 있었다 잘 작동한다.

   IT는 이제 내가 잘못 클래스 명을주고 있었다 잘 작동한다.

2. ==============================

   2.이 뷰의 수를 조사 매우 인기있는 질문이었다하지만 여전히 올바른 클래스 이름의 측면에서 "대답을"부족하다. 그래서를 완료 :

   이 뷰의 수를 조사 매우 인기있는 질문이었다하지만 여전히 올바른 클래스 이름의 측면에서 "대답을"부족하다. 그래서를 완료 :

   정확한 인수 부분은 -inputformat org.apache.hadoop.hive.ql.io.orc.OrcInputFormat -outputformat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat입니다

3. ==============================

   3.내 경우, 나는 / 제거 돼지 명령을 실행하기 전에 환경 변수 아래 거짓을 표시했다.

   내 경우, 나는 / 제거 돼지 명령을 실행하기 전에 환경 변수 아래 거짓을 표시했다.

   export HADOOP_USE_CLIENT_CLASSLOADER='true'
   

from https://stackoverflow.com/questions/30319344/orcnewinputformat-as-a-inputformat-for-hadoop-streaming by cc-by-sa and MIT license