[HADOOP] PIG UDF에서 디버깅

PIG UDF에서 디버깅

나는 Hadoop / PIG를 처음 사용합니다. 나는 기본적인 질문을 가지고있다.

PIG UDF에 로깅 기능이 있습니까? 확인해야 할 UDF를 작성했습니다. 흐름을 확인하기 위해 특정 명세서를 기록해야합니다. 로깅 시설을 이용할 수 있습니까? 그렇다면 돼지 기록은 어디에 있습니까?

해결법

1. ==============================

   1.UDF가 EvalFunc를 확장한다고 가정하면, EvalFunc.getLogger ()에서 리턴 된 Logger를 사용할 수 있습니다. 로그 출력은 돼지가 실행하는 연관된 Map / Reduce 작업에서 볼 수 있어야합니다 (작업이 단일 스테이지 이상으로 실행되는 경우 연관된 로그 항목을 찾기 위해 로그를 선택해야합니다).

   UDF가 EvalFunc를 확장한다고 가정하면, EvalFunc.getLogger ()에서 리턴 된 Logger를 사용할 수 있습니다. 로그 출력은 돼지가 실행하는 연관된 Map / Reduce 작업에서 볼 수 있어야합니다 (작업이 단일 스테이지 이상으로 실행되는 경우 연관된 로그 항목을 찾기 위해 로그를 선택해야합니다).

2. ==============================

   2.아마 분명하지만 클러스터 / 의사 클러스터에 전개하기 전에 로컬 모드에서 UDF를 디버깅하는 것이 좋습니다. 이렇게하면 로그 디버깅보다 쉬운 IDE (내 경우에는 Eclipse)에서 바로 디버깅 할 수 있습니다.

   아마 분명하지만 클러스터 / 의사 클러스터에 전개하기 전에 로컬 모드에서 UDF를 디버깅하는 것이 좋습니다. 이렇게하면 로그 디버깅보다 쉬운 IDE (내 경우에는 Eclipse)에서 바로 디버깅 할 수 있습니다.

from https://stackoverflow.com/questions/11005004/debugging-in-pig-udf by cc-by-sa and MIT license