[HADOOP] 돼지 - 최대 개수를 가져옵니다
HADOOP돼지 - 최대 개수를 가져옵니다
샘플 데이터
DATE WindDirection
1/1/2000 SW
1/2/2000 SW
1/3/2000 SW
1/4/2000 NW
1/5/2000 NW
아래 질문
매일 고유하며 바람의 방향이 고유하지 않은, 그래서 지금 우리는 가장 일반적인 바람의 방향의 COUNT를 얻기 위해 노력하고있다
내 쿼리는
weather_data = FOREACH Weather GENERATE $16 AS Date, $9 AS w_direction;
e = FOREACH weather_data
{
unique_winds = DISTINCT weather_data.w_direction;
GENERATE unique_winds, COUNT(unique_winds);
}
dump e;
논리는 WindDirection에 의해, (7 같이있다) 다음 그룹을 DISTINCT WindDirections을 찾을 수를 적용하는 것입니다.
지금은 바람의 방향의 총 수 또는 수를 얻을 생각합니다.
해결법
-
==============================
1.당신은 바람의 방향에 의해 GROUP해야하고 내림차순 순서에 의해 counts.Order에게 수를 얻고 최상위 행을 얻을 것이다.
당신은 바람의 방향에 의해 GROUP해야하고 내림차순 순서에 의해 counts.Order에게 수를 얻고 최상위 행을 얻을 것이다.
wd = FOREACH Weather GENERATE $9 AS w_direction; gwd = GROUP wd BY w_direction; cwd = FOREACH gwd GENERATE group as wd,COUNT(wd.$0); owd = ORDER cwd BY $1 DESC; mwd = LIMIT owd 1; DUMP mwd;
from https://stackoverflow.com/questions/36753093/pig-get-max-count by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] java.lang.OutOfMemoryError와 얻기 :지도 감소 제출하는 동안 GC 오버 헤드 제한 초과 (0) | 2019.10.20 |
---|---|
[HADOOP] 아파치 기린과 하이브 - JDBC - 스토리지 - 핸들러 빌드 큐브 문제 (0) | 2019.10.20 |
[HADOOP] 하이브 외부 테이블은 HDFS의 새로운 마루 파일을 검색 할 수 있습니다 (0) | 2019.10.19 |
[HADOOP] 하이브에서 UDF 결과를 검색 (0) | 2019.10.19 |
[HADOOP] 어떻게 스트림으로 STDOUT 인쇄 paramiko와 맵리 듀스 (0) | 2019.10.19 |