[SPRING] 봄 + 메이븐 + 하둡

봄 + 메이븐 + 하둡

Spring + Maven + Hadoop 환경에 문제가 있습니다. Apache Hadoop을 사용하고 있지만 SpringSource에서 제공하는 spring-hadoop을 사용하지 마십시오. Java에서 hadoop을 사용하기 위해 Maven에 의존성을 추가했습니다.

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>0.20.2</version>
        <exclusions>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jetty</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jetty-util</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jsp-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jsp-api-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>servlet-api-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>javax.servlet</groupId>
                <artifactId>servlet-api</artifactId>
            </exclusion>
            <exclusion>
                <groupId>javax.servlet.jsp</groupId>
                <artifactId>jsp-api</artifactId>
            </exclusion>
            <exclusion>
                <groupId>tomcat</groupId>
                <artifactId>jasper-compiler</artifactId>
            </exclusion>
            <exclusion>
                <groupId>tomcat</groupId>
                <artifactId>jasper-runtime</artifactId>
            </exclusion>
        </exclusions>
    </dependency> 

그리고 나는 hadoop mapreduce 일을 수행했다. Mapreduce의 업무는 잘 작동합니다.

그러나 Hadoop Web UI (http://xxx.xxx.xxx.xxx:50030/jobtracker.jsp)의 "작업 실행"목록에서 실행 된 작업을 볼 수 없습니다.

hadoop 명령 (ex-bin / hadoop -jar .... jar)없이 시작했지만 java 응용 프로그램입니다. 이것이 이유일까요?

해결법

1. ==============================

   1.Hadoop은 Hadoop 클러스터를 설정하지 않고 로컬로 MR 작업을 실행하는 API를 제공합니다. Hadoop 웹 UI에서 작업을 실행 / 완료하지 않은 경우 MR 작업을 로컬에서 실행하는 것으로 보입니다.

   Hadoop은 Hadoop 클러스터를 설정하지 않고 로컬로 MR 작업을 실행하는 API를 제공합니다. Hadoop 웹 UI에서 작업을 실행 / 완료하지 않은 경우 MR 작업을 로컬에서 실행하는 것으로 보입니다.

   원격으로 실행하려면 - 적절한 작업 추적자 호스트를 지정하십시오 (예 : http://xxx.xxx.xxx.xxx:9001).

from https://stackoverflow.com/questions/14704861/spring-maven-hadoop by cc-by-sa and MIT license