[HADOOP] 스파크 클라이언트 생성 실패 : 스파크 예외 발생시 하이브

스파크 클라이언트 생성 실패 : 스파크 예외 발생시 하이브

하이브 실행 엔진을 SPARK로 변경했습니다. DML / DDL을 수행 할 때 예외가 발생합니다.

하이브> tablename에서 카운트 (*) 선택; 검색어 ID = jibi_john_20160602153012_6ec1da36-dcb3-4f2f-a855-3b68be118b36 총 작업 수 = 1 1 중 1 작업 시작 감속기의 평균 부하를 변경하려면 (바이트 단위) : hive.exec.reducers.bytes.per.reducer = <숫자> 감속기의 최대 수를 제한하려면 다음을 수행하십시오. set hive.exec.reducers.max = <숫자> 일정한 수의 감속기를 설정하려면 다음을 수행하십시오. set mapreduce.job.reduces = ** 'org.apache.hadoop.hive.ql.metadata.HiveException (스파크 클라이언트를 생성하지 못했습니다.)'예외와 함께 스파크 작업을 실행하지 못했습니다. ' ** FAILED : 실행 오류, org.apache.hadoop.hive.ql.exec.spark.SparkTask ****에서 리턴 코드 1

해결법

1. ==============================

   1.한 가지 가능한 원인은 YARN이 ApplicationMaster를 할당하기 전에 시간 초과 값을 치는 것입니다. hive.spark.client.server.connect.timeout을 설정하여이 시간 초과 값을 확장 할 수 있습니다.

   한 가지 가능한 원인은 YARN이 ApplicationMaster를 할당하기 전에 시간 초과 값을 치는 것입니다. hive.spark.client.server.connect.timeout을 설정하여이 시간 초과 값을 확장 할 수 있습니다.

   기본값은 90000ms입니다.

2. ==============================

   2.메모리 문제 일 수 있습니다. YARN 컨테이너 메모리와 최대 값을 Spark Executor Memory + Overhead보다 크게 설정하십시오.

   메모리 문제 일 수 있습니다. YARN 컨테이너 메모리와 최대 값을 Spark Executor Memory + Overhead보다 크게 설정하십시오.

   yarn.scheduler.maximum-allocation-mb yarn.nodemanager.resource.memory-mb

from https://stackoverflow.com/questions/37589062/failed-to-create-spark-client-hive-on-spark-exception by cc-by-sa and MIT license