[HADOOP] Java 응용 프로그램 내에서 Pig 실행
HADOOPJava 응용 프로그램 내에서 Pig 실행
외부 프로세스를 수행하지 않고 Java 응용 프로그램 내에서 Apache Pig 작업을 실행할 수 있습니까?
Pig와 Hadoop은 모두 Java로 작성되었지만 실제로 Java API를 제공하지는 않습니다. 쉘 스크립트에 의존하기보다는 Java Spring 애플리케이션 내에서 이러한 도구 양식을 사용하고 싶습니다.
해결법
-
==============================
1.Spring Hadoop 프로젝트 및 Pig 지원을 참조하십시오.
Spring Hadoop 프로젝트 및 Pig 지원을 참조하십시오.
-
==============================
2.Pig 용 Java API가있는 것 같습니다.
Pig 용 Java API가있는 것 같습니다.
이 API에 따르면 PigRunner 클래스가 있습니다.
이를 통해 전용 Spring Bean을 작성하여 Spring 애플리케이션에 쉽게 추가 할 수 있습니다.
-
==============================
3.필자가 문서와 현명한 것을 본 것은 PigServer 클래스입니다. 여기에 그것을 사용하는 예제가 있습니다 : http://pig.apache.org/docs/r0.8.1/setup.html#Sample+Code
필자가 문서와 현명한 것을 본 것은 PigServer 클래스입니다. 여기에 그것을 사용하는 예제가 있습니다 : http://pig.apache.org/docs/r0.8.1/setup.html#Sample+Code
from https://stackoverflow.com/questions/9376261/execute-pig-from-within-java-application by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] HIVE에서 테이블 이름으로 사용하기 위해 현재 날짜를 가져 와서 변수로 설정하십시오. (0) | 2019.08.12 |
---|---|
[HADOOP] pyspark.sql.utils.AnalysisException : u'Path가 존재하지 않습니다 (0) | 2019.08.12 |
[HADOOP] Oozie Hive 액션이 멈추고 심장 박동이 영원히 (0) | 2019.08.12 |
[HADOOP] 의사 분산 번호 맵 및 작업 감소 (0) | 2019.08.12 |
[HADOOP] Hue / Oozie에서 인식 할 수없는 인수를 유발하는 Sqoop 자유 형식 쿼리 (0) | 2019.08.12 |