[HADOOP] 오류 KeyProviderCache : 키와 URI를 찾을 수 없습니다

오류 KeyProviderCache : 키와 URI를 찾을 수 없습니다

다음은 그 안에 HIVE 테이블 및로드 데이터를 생성하는 간단한 코드입니다.

import java.util.Properties
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.sql.SQLContext
import sqlContext.implicits._

val conf = new SparkConf().setAppName("HIVE_Test").setMaster("local").set("spark.executor.memory","1g").set("spark.driver.allowMultipleContexts", "true");
val sc = new SparkContext(conf);
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc);

sqlContext.sql("CREATE TABLE test_amit_hive12(VND_ID INT,VND_NM STRING,VND_SHORT_NM STRING,VND_ADR_LN_1_TXT STRING,VND_ADR_LN_2_TXT STRING,VND_CITY_CD STRING,VND_ZIP_CD INT,LOAD_TS FLOAT,UPDT_TS FLOAT, PROMO_STTS_CD STRING, VND_STTS_CD STRING)");
sqlContext.sql("LOAD DATA LOCAL INPATH 'path_to/amitesh/part.txt' INTO TABLE test_amit_hive12");
exit()

나는이 개 질문이 ::

1) "을 만들 테이블"에서, 열심히 테이블 이름을 코딩,하지만 어떻게 코드는 데 파일 구분 이해할 것인가? 우리가 HIVE 프롬프트를 통해 HIVE 테이블을 만들 때, 우리는 줄을 다음 쓰는가

FIELDS TERMINATED BY ‘’
LINES TERMINATED BY ‘’

스파크 / 스칼라와 함께 작업하는 동안 그래서, 우리는 그렇게 할 필요가 없다?

스파크 쉘을 통해 코드를 실행하는 동안 2), 나는 오류가 아래 얻고있다 ::

 ERROR KeyProviderCache: Could not find uri with key [dfs.encryption.key.provider.uri] to create a keyProvider !!
res1: org.apache.spark.sql.DataFrame = [result: string]

I에 유래에 게시물을 찾았지만 답이 있었다. 다른 웹 사이트에, 내가 하둡 2.7.1와 함께 자사의 버그를 발견. 난 내 체크, 나는 2.7.2이있다. 그래서, 내 버전으로 기존 버그의 가능성 것입니다. 나는 IBM의 BigInsight을 사용하고 있습니다. 내 버전 정보입니다 다음

Hadoop 2.7.2-IBM-12

그러나, 나는 내 관리자에 버그로 이것을 증명하기 위해 매우 강력한 증거를 갖고해야한다, 내가이 문제를 해결하는 데 도움을 줄 수있는 일이있다.

사람들이 오류가 버그가 말했다 경우 아래 링크 중 하나입니다

`https://talendexpert.com/talend-spark-error/

해결법

1. ==============================

   1.조금 늦었지만이 문제를 해결합니까?

   조금 늦었지만이 문제를 해결합니까?

   같은 오류가있어,하지만 나를 위해 정말 문제가 아니 었습니다. 오류 후 코드는 잘 실행했습니다. 때로는 팝업 때로는 그렇지 않습니다, 그래서 어쩌면 그것은 특정 스파크 작업에 참여하는 우리의 클러스터에서 실행 프로그램 노드에 연결되어 있습니다.

   그것은 바로 하둡 버전으로 관련이없는, 그러나 그것은 당신이 실행 스파크 버전을 기반으로합니다.

   버그 및 솔루션은 여기에보고됩니다 https://issues.apache.org/jira/browse/SPARK-20594.

   즉 2.2.0 아마이 문제를 해결할 스파크로 업그레이드이다.

from https://stackoverflow.com/questions/42831545/error-keyprovidercache-could-not-find-uri-with-key by cc-by-sa and MIT license