[HADOOP] 돼지에서 파이썬 UDF를
HADOOP돼지에서 파이썬 UDF를
여기 문서를 본 적이 있지만 나는 오히려 부족한 느낌이 고백합니다. 사람이 돼지로 파이썬 UDF를 통합에 관해서는 나에게 사례의 수집을 줄 수 있는지 궁금 해서요. 특히
해결법
-
==============================
1.파이썬 UDF는 매우 제한적입니다. 당신은 대수 또는 배터리 인터페이스를 사용할 수 없으며 파이썬에서 LoadFunc을 작성할 수 있습니다. 지도 작업보다 더 복잡 아무것도 들어 당신은 가능성이 자바 UDF에 의지해야합니다.
파이썬 UDF는 매우 제한적입니다. 당신은 대수 또는 배터리 인터페이스를 사용할 수 없으며 파이썬에서 LoadFunc을 작성할 수 있습니다. 지도 작업보다 더 복잡 아무것도 들어 당신은 가능성이 자바 UDF에 의지해야합니다.
동적 outputSchema와, 상기, 더 복잡한 파이썬 UDF는 http://ragrawal.wordpress.com/2013/02/24/on-writing-python-udf-for-pig-a-perspective/에서 찾을 수 있습니다. 이 가능성이 도움이되지 않습니다,하지만 당신에게 파이썬 UDF를 수행 할 수있는 작업의 더 나은 이해를 제공 할 것입니다.
-
==============================
2.이것은 특정 대부분의 질문에 대답하지 않을 수 있지만,이 블로그 게시물과 링크 된 코드는 파이썬으로 돼지를 사용하는 몇 가지 좋은 예를 포함하고 저장 /로드의 사용 및 파이썬과의 상호 작용을 포함한다.
이것은 특정 대부분의 질문에 대답하지 않을 수 있지만,이 블로그 게시물과 링크 된 코드는 파이썬으로 돼지를 사용하는 몇 가지 좋은 예를 포함하고 저장 /로드의 사용 및 파이썬과의 상호 작용을 포함한다.
from https://stackoverflow.com/questions/10808838/python-udfs-in-pig by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡은 - 의존성의 많은 작업을 제출 (jar 파일) (0) | 2019.09.19 |
---|---|
[HADOOP] "잘못된 FS ... 예상 : 파일 : ///"자바 HDFS에서 copyFromLocalFile 할 때 (0) | 2019.09.19 |
[HADOOP] 튜닝 하둡 매개 변수 (0) | 2019.09.19 |
[HADOOP] 인덱스 7에서 권한에 잘못된 문자 : HDFS : // localhost를 : 9000 하둡과 (0) | 2019.09.19 |
[HADOOP] 코어 정보의 하둡 클러스터 크기 / 번호를 수집하는 방법 (0) | 2019.09.19 |