복붙노트

[HADOOP] 어떻게 하이브의 교차로와 두 배열의 조합을 계산하기?

HADOOP

어떻게 하이브의 교차로와 두 배열의 조합을 계산하기?

예를 들어, 교차로

select intersect(array("A","B"), array("B","C"))

반환해야

["B"]

노조

 select union(array("A","B"), array("B","C"))

반환해야

["A","B","C"]

하이브에서이 문제를 확인하는 가장 좋은 방법은 무엇입니까? 나는 하이브 문서를 확인했지만,이 작업을 수행하는 모든 관련 정보를 찾을 수 없습니다.

해결법

  1. ==============================

    1.문제의 해결책은 여기에있다. githubLink로 이동, UDFS의 많은 klout에 의해 만들어집니다있다. 다운로드, 상자에 JAR와 하이브에 JAR을 추가합니다. 예

    문제의 해결책은 여기에있다. githubLink로 이동, UDFS의 많은 klout에 의해 만들어집니다있다. 다운로드, 상자에 JAR와 하이브에 JAR을 추가합니다. 예

     CREATE TEMPORARY FUNCTION combine AS 'brickhouse.udf.collect.CombineUDF';
     CREATE TEMPORARY FUNCTION combine_unique AS 'brickhouse.udf.collect.CombineUniqueUDAF';
    
    select combine_unique(combine(array('a','b','c'), array('b','c','d'))) from reqtable;
    
    OK
    ["d","b","c","a"]
    
  2. from https://stackoverflow.com/questions/36145842/how-to-compute-the-intersections-and-unions-of-two-arrays-in-hive by cc-by-sa and MIT license