복붙노트

[HADOOP] 돼지 - 최대 개수를 가져옵니다

HADOOP

돼지 - 최대 개수를 가져옵니다

샘플 데이터

DATE      WindDirection

1/1/2000  SW
1/2/2000  SW
1/3/2000  SW
1/4/2000  NW
1/5/2000  NW

아래 질문

매일 고유하며 바람의 방향이 고유하지 않은, 그래서 지금 우리는 가장 일반적인 바람의 방향의 COUNT를 얻기 위해 노력하고있다

내 쿼리는

weather_data = FOREACH Weather GENERATE $16 AS Date, $9 AS w_direction;
e = FOREACH weather_data 
            {
                unique_winds = DISTINCT weather_data.w_direction;
                GENERATE unique_winds, COUNT(unique_winds);
            }
dump e;

논리는 WindDirection에 의해, (7 같이있다) 다음 그룹을 DISTINCT WindDirections을 찾을 수를 적용하는 것입니다.

지금은 바람의 방향의 총 수 또는 수를 얻을 생각합니다.

해결법

  1. ==============================

    1.당신은 바람의 방향에 의해 GROUP해야하고 내림차순 순서에 의해 counts.Order에게 수를 얻고 최상위 행을 얻을 것이다.

    당신은 바람의 방향에 의해 GROUP해야하고 내림차순 순서에 의해 counts.Order에게 수를 얻고 최상위 행을 얻을 것이다.

    wd = FOREACH Weather GENERATE $9 AS w_direction;
    gwd = GROUP wd BY w_direction;
    cwd = FOREACH gwd GENERATE group as wd,COUNT(wd.$0);
    owd = ORDER cwd BY $1 DESC;
    mwd  = LIMIT owd 1;
    DUMP mwd;
    
  2. from https://stackoverflow.com/questions/36753093/pig-get-max-count by cc-by-sa and MIT license