[HADOOP] Spark SQL saveAsTable이 빈 결과를 반환합니다.

Spark SQL saveAsTable이 빈 결과를 반환합니다.

Spark SQL의 하이브 테이블에 데이터를 생성 / 삽입하기 위해 다음 코드를 사용하고 있습니다.

val sc = SparkSession
  .builder()
  .appName("App")
  .master("local[2]")
  .config("spark.sql.warehouse.dir", "file:///tmp/spark-warehouse")
  .enableHiveSupport()
  .getOrCreate()

// actual code

result.createOrReplaceTempView("result")
result.write.format("parquet").partitionBy("year", "month").mode(SaveMode.Append).saveAsTable("tablename")

오류없이 실행됩니다. result.show (10)가이를 확인합니다. 입력 파일은 로컬 FS에서 csv입니다.

./spark-warehouse/tablename/ 아래에 마루 파일을 만들고 올바른 create table 문을 사용하여 하이브에 테이블을 만듭니다.

git:(master) ✗ tree
.
└── tablename
    ├── _SUCCESS
    └── year=2017
        └── month=01
            ├── part-r-00013-abaea338-8ed3-4961-8598-cb2623a78ce1.snappy.parquet
            ├── part-r-00013-f42ce8ac-a42c-46c5-b188-598a23699ce8.snappy.parquet
            ├── part-r-00018-abaea338-8ed3-4961-8598-cb2623a78ce1.snappy.parquet
            └── part-r-00018-f42ce8ac-a42c-46c5-b188-598a23699ce8.snappy.parquet

하이브 :

hive> show create table tablename;
OK
CREATE TABLE `tablename`(
  `col` array<string> COMMENT 'from deserializer')
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'path'='file:/Users/IdeaProjects/project/spark-warehouse/tablename')
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.SequenceFileInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat'
LOCATION
  'file:/tmp/spark-warehouse/tablename'
TBLPROPERTIES (
  'EXTERNAL'='FALSE',
  'spark.sql.sources.provider'='parquet',
  'spark.sql.sources.schema.numPartCols'='2',
  'spark.sql.sources.schema.numParts'='1',
  'spark.sql.sources.schema.part.0'='{ 
  // fields
  }',
  'spark.sql.sources.schema.partCol.0'='year',
  'spark.sql.sources.schema.partCol.1'='month',
  'transient_lastDdlTime'='1488157476')

그러나 테이블은 비어 있습니다.

hive> select count(*) from tablename;
...
OK
0
Time taken: 1.89 seconds, Fetched: 1 row(s)

사용 된 소프트웨어 : spark-sql과 spark-hive_2.10, Hive 2.10 및 mysql metastore, Hadoop 2.70, macOS 10.12.3이있는 Spark 2.1.0

해결법

1. ==============================

   1.스파크 SQL 파티셔닝은 Hive와 호환되지 않습니다. 이 문제는 SPARK-14927에 설명되어 있습니다.

   스파크 SQL 파티셔닝은 Hive와 호환되지 않습니다. 이 문제는 SPARK-14927에 설명되어 있습니다.

   권장되는 해결 방법은 Hive를 사용하여 분할 된 테이블을 만들고 Spark에서 삽입하는 것입니다.

2. ==============================

   2.새 파티션을 추가 할 때 MSCK REPAIR TABLE을 실행하면됩니다. Hive 문서를 참조하십시오 : https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-RecoverPartitions(MSCKREPAIRTABLE)

   새 파티션을 추가 할 때 MSCK REPAIR TABLE을 실행하면됩니다. Hive 문서를 참조하십시오 : https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-RecoverPartitions(MSCKREPAIRTABLE)

from https://stackoverflow.com/questions/42476731/spark-sql-saveastable-returns-empty-result by cc-by-sa and MIT license