[HADOOP] Hive 0.12 및 Hadoop 2.2.0-cdh5.0.0-beta2의 SerDe 문제

Hive 0.12 및 Hadoop 2.2.0-cdh5.0.0-beta2의 SerDe 문제

문제를 좁히는 데 어려움을 겪고 있기 때문에 제목이 조금 이상합니다. Hadoop 2.0.0-cdh4.4.0에서 솔루션을 사용하고 문제없이 0.10으로 하이브를 사용했습니다.

첫 시도:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hive.serde2.objectinspector.primitive.AbstractPrimitiveJavaObjectInspector.<init>(Lorg/apache/hadoop/hive/serde2/objectinspector/primitive/PrimitiveObjectInspectorUtils$PrimitiveTypeEntry;)V

두 번째 시도 :

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Could not initialize class org.openx.data.jsonserde.objectinspector.JsonObjectInspectorFactory

언급 된 실행 로그 :

2014-03-11 12:13:30,331 ERROR mr.MapredLocalTask (MapredLocalTask.java:executeFromChildJVM(324)) - Hive Runtime Error: Map local work failed
org.apache.hadoop.hive.ql.metadata.HiveException: Failed with exception java.lang.ClassNotFoundException: com.cloudera.hive.serde.JSONSerDejava.lang.RuntimeException: java.lang.ClassNotFoundException: com.cloudera.hive.serde.JSONSerDe

누구든지이 문제를 해결하는 방법을 알고 있거나 문제가있는 곳을 최소한 보여 주시겠습니까?

편집 : 나는 Hadoop 2.0.0-cdh4.4.0 및 하이브 0.10에서 serde를 구축하는 것이 문제가 될 수 있습니까?

해결법

1. ==============================

   1.내가 본 것에서, Hive-.11 +에는 Custom SerDe와의 결합에 버그가 있습니다.

   내가 본 것에서, Hive-.11 +에는 Custom SerDe와의 결합에 버그가 있습니다.

   https://github.com/Esri/gis-tools-for-hadoop/issues/9

   SerDe 클래스가 들어있는 JAR 파일을 $ HIVE_HOME / lib에 복사하는 방법을 시도해 볼 수 있습니다.

   (귀하의 질문에 볼 수 ClassNotFoundException 모두 조인 및 다른 경우에, 지금까지 내가 조우와 같은 모든 시간이 발생했습니다.)

   [편집] 또 다른 해결 방법은 HADOOP_CLASSPATH를 사용하는 것입니다.

   env HADOOP_CLASSPATH = some.jar : other.jar 하이브 ...

   [편집]이 문제는 Hive 버전 0.11 및 0.12에 적용됩니다. 0.13 이상은 HIVE-6670에 대한 수정을 포함합니다.

from https://stackoverflow.com/questions/22324106/serde-problems-with-hive-0-12-and-hadoop-2-2-0-cdh5-0-0-beta2 by cc-by-sa and MIT license