[HADOOP] 하이브 / 최단 거리가 어떻게 디렉토리를 .staging 작업을 설정할 수 있습니까?

하이브 / 최단 거리가 어떻게 디렉토리를 .staging 작업을 설정할 수 있습니까?

클러스터에 내가 모든 사용자에 일하고 있어요는 하둡 할당량의 60GB가 제공됩니다. 역사적으로 내가 맡은 프로젝트 하이브 쿼리를 많이 생성합니다. 위해 일 빨리 내가 ​​(관련이없는)이 쿼리를 병렬 시도하고 있지만, 결과적으로 디렉토리 /user/{myusername}/.staging/가 다시 가득 job_ {someid} 디렉토리로 가득되고 작동하려면 하이브 항아리와 매우 빠른이 60GB가 소모한다. 나는 병렬화 계수를 제한 할 수 있지만 나는 또한 다른 디렉토리에이 항아리를 넣어 하이브를 요청할 수 있는지 확인하고 싶습니다. 나는 더 많은 공간이 말 / tmp를 / {MyUserName 에다}.

내가 하이브 / 최단 거리가 / tmp를 / {MyUserName 에다}에서 .staging 디렉토리를 만드는 말해 어떻게 어떤 생각?

해결법

1. ==============================

   1.가장 쉬운 방법은 직선 세션의 실행에 있습니다.

   가장 쉬운 방법은 직선 세션의 실행에 있습니다.

   beeline --hive.exec.stagingdir=/tmp/{myusername}
   

   당신이 직선 내부! 세트를 통해 그것을 할 수 있다고 생각하지만, 손에 구문이 없습니다.

2. ==============================

   2.위가 작동하지 않습니다.

   위가 작동하지 않습니다.

   우리는 다음과 같은 작업을 발견

   직선 --hiveconf hive.exec.stagingdir = / tmp를 / {MyUserName 에다}

from https://stackoverflow.com/questions/37908837/hive-beeline-how-can-i-set-the-job-staging-directory by cc-by-sa and MIT license