[HADOOP] 설명 표는 Hue Hive Avro 형식의 열 주석에 대한 "직렬 디시리얼라이저"를 보여줍니다.

설명 표는 Hue Hive Avro 형식의 열 주석에 대한 "직렬 디시리얼라이저"를 보여줍니다.

데이터를 Avro 형식으로 저장하면 바이트 스트림이 이진으로 변환되므로 모든 주석이 "직렬화 해제 프로그램"으로 변환됩니다.

우리는이 문제에 대한 jira 버그를 발견했지만 거의 확인하지 못했습니다.이 문제는 0.13 버전으로 해결되었습니다. 우리는 하이브 1.1 (Cloudera)을 사용하고 있습니다. 그러나 우리는 여전히 문제에 직면하고 있습니다.

지라 :-https://issues.apache.org/jira/browse/HIVE-6681

https://www.bountysource.com/issues/1320154-describe-on-a-table-returns-from-deserializer-for-column-comments-instead-of-values-supplied-in-create-table

그러나 입력 및 출력 형식을 일반 텍스트 (명시 적으로 지정됨)로 변경하면 열 설명은 유지 될 수 있지만 그러한 경우 실제 avro 기능이 손실되는 것 같습니다. 따라서 아래 코드를 사용할 수 없습니다.

-아래는 텍스트를 사용한 입력 및 출력 형식입니다

 ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' 
 STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' 
 OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

해결법

from https://stackoverflow.com/questions/36593395/describe-table-shows-from-deserializer-for-column-comments-in-hue-hive-avro-fo by cc-by-sa and MIT license