[HADOOP] Hive의 JOIN이 MapReduce의 JOIN 유형을 트리거합니까?
HADOOPHive의 JOIN이 MapReduce의 JOIN 유형을 트리거합니까?
JOIN을 사용하는 하이브에 쿼리가있는 경우 LEFT OUTER JOIN 또는 IN JOIN을 두 개의 테이블에서 열에 대해 말하면 JOIN의 유형이 백엔드 MapReduce로 변환되는 것을 어떻게 알 수 있습니까? 지도 쪽 JOIN 또는 축소 쪽 JOIN)?
감사.
해결법
-
==============================
1.Explain select ...를 사용하고 계획을 점검하십시오. 지도와 축소가 정확히 무엇을하는지 설명합니다. 또한 실행 중에 작업 추적기의 로그를 확인하고 매퍼 또는 감속기 프로세스가 수행중인 작업을 볼 수 있습니다.
Explain select ...를 사용하고 계획을 점검하십시오. 지도와 축소가 정확히 무엇을하는지 설명합니다. 또한 실행 중에 작업 추적기의 로그를 확인하고 매퍼 또는 감속기 프로세스가 수행중인 작업을 볼 수 있습니다.
예를 들어, 다음과 같은 Explain plan은 map-side 조인 (계획의 Note Map Join Operator)이라고합니다.
Stage: Stage-33 Map Reduce Map Operator Tree: TableScan **alias: s** filterExpr: (col is not null) (type: boolean) Statistics: Num rows: 85 Data size: 78965 Basic stats: COMPLETE Column stats: NONE Filter Operator predicate: (col is not null) (type: boolean) Statistics: Num rows: 22 Data size: 20438 Basic stats: COMPLETE Column stats: NONE **Map Join Operator condition map: Inner Join 0 to 1**
from https://stackoverflow.com/questions/42970369/join-in-hive-triggers-which-type-of-join-in-mapreduce by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 행 HBase의 특정 열 패밀리에서 열 가져 오기 (0) | 2019.07.20 |
---|---|
[HADOOP] 재배포 후 HBase 보조 프로세서가 업데이트되지 않음 (0) | 2019.07.20 |
[HADOOP] winutils 및 hadoop / spark에 대한 powershell chmod / tmp / hive (0) | 2019.07.20 |
[HADOOP] hadoop 출력 파일에 커스텀 이름을주는 법 (0) | 2019.07.20 |
[HADOOP] 조건에 일치하는 행 시퀀스에 대한 식별자를 생성하는 하이브 쿼리 (0) | 2019.07.20 |