[HADOOP] UDF에 대한 인수로 돼지 패스 관계
HADOOPUDF에 대한 인수로 돼지 패스 관계
나는 돼지의 UDF에 관계를 통과해야
articles = load x using ...;
groupedArticles = udfs.MyUDF(articles);
이 수 같은가요? 어떤 해결 방법?
감사
해결법
-
==============================
1.난 당신이 UDF에 관계의 모든 필드를 전달하는 의미 추측? 관계를 전달하는 것은 의미가 없다. 어떤 경우에는이 부하 문처럼 보이는 방법에 따라 달라집니다. (: (A : INT, B : 항목 chararray, ...)) 당신이로 사용 튜플 부하 X 각 항목 ...를로드 할 경우 groupedArticles = foreach는 같은 UDF에 그것을 통과 할 수있는 것보다 기사 udfs.MyUDF를 (생성 항목) 튜플이 아마도 가장 일반적인 방법으로 전체 라인을 통과, 당신은 비록 당신의 UDF에서 일반 튜플 처리해야합니다.
난 당신이 UDF에 관계의 모든 필드를 전달하는 의미 추측? 관계를 전달하는 것은 의미가 없다. 어떤 경우에는이 부하 문처럼 보이는 방법에 따라 달라집니다. (: (A : INT, B : 항목 chararray, ...)) 당신이로 사용 튜플 부하 X 각 항목 ...를로드 할 경우 groupedArticles = foreach는 같은 UDF에 그것을 통과 할 수있는 것보다 기사 udfs.MyUDF를 (생성 항목) 튜플이 아마도 가장 일반적인 방법으로 전체 라인을 통과, 당신은 비록 당신의 UDF에서 일반 튜플 처리해야합니다.
from https://stackoverflow.com/questions/28023561/pig-pass-relation-as-argument-to-udf by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 네임 노드는 시작에 중단 된 것으로 보입니다 (0) | 2019.09.20 |
---|---|
[HADOOP] 일반 인증 실패 : 사용자 원사가 어떤 가장 구성되어 있지 않습니다. impersonationUser : alluxio 맵리 듀스의 루트 (0) | 2019.09.20 |
[HADOOP] 하둡 - "코드가 계산에 가까운 데이터를 이동" (0) | 2019.09.20 |
[HADOOP] 아파치 돼지 오류 JSON 데이터를 덤프 동안 (0) | 2019.09.20 |
[HADOOP] 자바를 통해 하둡 클러스터의 모든 원사 응용 프로그램을 나열 (0) | 2019.09.20 |