복붙노트

[HADOOP] 별칭에서 모든 행의 필드 합계를 계산하는 방법

HADOOP

별칭에서 모든 행의 필드 합계를 계산하는 방법

내가하고 싶은 일은 별칭의 모든 행에있는 필드의 값을 합산하는 것입니다. 이것은 간단해야하지만 어떻게 든 대답을 찾을 수 없습니다. PIG가 데이터 집합을 처리하는 동안 내가 원하는 것은 스칼라 값이기 때문일 수 있습니다. 나는 합계 인 필드가있는 행을 만들 수 있다고 생각하니? 제발 조언!

해결법

  1. ==============================

    1.GROUP ALL을 사용하여 모든 것을 하나의 그룹으로 가져온 다음 SUM 함수를 사용하여 모든 필드를 추가 할 수 있습니다.

    GROUP ALL을 사용하여 모든 것을 하나의 그룹으로 가져온 다음 SUM 함수를 사용하여 모든 필드를 추가 할 수 있습니다.

    DESCRIBE a
    a: (name, age, height)
    
    b = GROUP a ALL;
    c = FOREACH b GENERATE SUM(a.age);
    
  2. from https://stackoverflow.com/questions/9898721/how-to-compute-sum-of-a-field-in-all-the-rows-from-an-alias by cc-by-sa and MIT license