복붙노트

[HADOOP] Hive의 JOIN이 MapReduce의 JOIN 유형을 트리거합니까?

HADOOP

Hive의 JOIN이 MapReduce의 JOIN 유형을 트리거합니까?

JOIN을 사용하는 하이브에 쿼리가있는 경우 LEFT OUTER JOIN 또는 IN JOIN을 두 개의 테이블에서 열에 대해 말하면 JOIN의 유형이 백엔드 MapReduce로 변환되는 것을 어떻게 알 수 있습니까? 지도 쪽 JOIN 또는 축소 쪽 JOIN)?

감사.

해결법

  1. ==============================

    1.Explain select ...를 사용하고 계획을 점검하십시오. 지도와 축소가 정확히 무엇을하는지 설명합니다. 또한 실행 중에 작업 추적기의 로그를 확인하고 매퍼 또는 감속기 프로세스가 수행중인 작업을 볼 수 있습니다.

    Explain select ...를 사용하고 계획을 점검하십시오. 지도와 축소가 정확히 무엇을하는지 설명합니다. 또한 실행 중에 작업 추적기의 로그를 확인하고 매퍼 또는 감속기 프로세스가 수행중인 작업을 볼 수 있습니다.

    예를 들어, 다음과 같은 Explain plan은 map-side 조인 (계획의 Note Map Join Operator)이라고합니다.

     Stage: Stage-33
        Map Reduce
          Map Operator Tree:
              TableScan
                **alias: s**
                filterExpr: (col is not null) (type: boolean)
                Statistics: Num rows: 85 Data size: 78965 Basic stats: COMPLETE Column stats: NONE
                Filter Operator
                  predicate: (col is not null) (type: boolean)
                  Statistics: Num rows: 22 Data size: 20438 Basic stats: COMPLETE Column stats: NONE
                  **Map Join Operator
                    condition map:
                         Inner Join 0 to 1**
    
  2. from https://stackoverflow.com/questions/42970369/join-in-hive-triggers-which-type-of-join-in-mapreduce by cc-by-sa and MIT license