복붙노트

[HADOOP] Java 응용 프로그램 내에서 Pig 실행

HADOOP

Java 응용 프로그램 내에서 Pig 실행

외부 프로세스를 수행하지 않고 Java 응용 프로그램 내에서 Apache Pig 작업을 실행할 수 있습니까?

Pig와 Hadoop은 모두 Java로 작성되었지만 실제로 Java API를 제공하지는 않습니다. 쉘 스크립트에 의존하기보다는 Java Spring 애플리케이션 내에서 이러한 도구 양식을 사용하고 싶습니다.

해결법

  1. ==============================

    1.Spring Hadoop 프로젝트 및 Pig 지원을 참조하십시오.

    Spring Hadoop 프로젝트 및 Pig 지원을 참조하십시오.

  2. ==============================

    2.Pig 용 Java API가있는 것 같습니다.

    Pig 용 Java API가있는 것 같습니다.

    이 API에 따르면 PigRunner 클래스가 있습니다.

    이를 통해 전용 Spring Bean을 작성하여 Spring 애플리케이션에 쉽게 추가 할 수 있습니다.

  3. ==============================

    3.필자가 문서와 현명한 것을 본 것은 PigServer 클래스입니다. 여기에 그것을 사용하는 예제가 있습니다 : http://pig.apache.org/docs/r0.8.1/setup.html#Sample+Code

    필자가 문서와 현명한 것을 본 것은 PigServer 클래스입니다. 여기에 그것을 사용하는 예제가 있습니다 : http://pig.apache.org/docs/r0.8.1/setup.html#Sample+Code

  4. from https://stackoverflow.com/questions/9376261/execute-pig-from-within-java-application by cc-by-sa and MIT license