복붙노트

[HADOOP] hadoop 의존성없이 아파치 마호트를 사용할 수 있습니까?

HADOOP

hadoop 의존성없이 아파치 마호트를 사용할 수 있습니까?

Hadoop에 의존하지 않고 Apache mahout을 사용할 수 있습니까?

내 자바 프로젝트 안에 mahout 라이브러리를 포함하여 단일 컴퓨터에서 mahout 알고리즘을 사용하고 싶습니다만, 어쨌든 단일 노드에서 실행될 것이기 때문에 hadoop을 사용하고 싶지 않습니다.

그게 가능하니?

해결법

  1. ==============================

    1.예. Mahout의 모든 것이 Hadoop에 의존하는 것은 아닙니다. 물론 Hadoop에 의존하는 조각을 사용한다면 Hadoop이 필요합니다. 그러나 예를 들어 Hadoop을 사용하지 않는 실질적인 추천 엔진 코드베이스가 있습니다.

    예. Mahout의 모든 것이 Hadoop에 의존하는 것은 아닙니다. 물론 Hadoop에 의존하는 조각을 사용한다면 Hadoop이 필요합니다. 그러나 예를 들어 Hadoop을 사용하지 않는 실질적인 추천 엔진 코드베이스가 있습니다.

    로컬 Hadoop 클러스터 / 작업자를 Java 프로그램에 임베드 할 수 있습니다.

  2. ==============================

    2.분명하게 예입니다. Mahout Recommender First-Timer FAQ에서는 Hadoop 기반 구현으로 시작하는 것을 권장하지 않습니다. 단, 1 억 개 이상의 사용자 기본 설정을 상대적으로 빠르게 확장해야한다는 것을 알고있는 경우는 예외입니다.

    분명하게 예입니다. Mahout Recommender First-Timer FAQ에서는 Hadoop 기반 구현으로 시작하는 것을 권장하지 않습니다. 단, 1 억 개 이상의 사용자 기본 설정을 상대적으로 빠르게 확장해야한다는 것을 알고있는 경우는 예외입니다.

    비교적 쉽게 pure-Java 방식으로 Recommender 인터페이스의 구현을 사용할 수 있습니다. 또는 원하는 서블릿에 하나를 배치하십시오.

    엄밀히 말하면 Mahout은 Hadoop에 대한 Maven 의존성을 가지고 있습니다. 그러나 Hadoop JAR 없이도 권장 사항을 쉽게 사용할 수 있습니다. 이는 Mahout 실전의 처음 몇 장에서 설명합니다. 샘플 소스 코드를 다운로드하고 완료된 방법을 살펴봄으로써 RecommenderIntro.java 파일을 살펴보십시오.

    그러나 Maven을 사용하는 경우 수동으로 Hadoop을 제외해야합니다. 종속성은 다음과 같습니다.

    <dependency>
            <groupId>org.apache.mahout</groupId>
            <artifactId>mahout-core</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.hadoop</groupId>
                    <artifactId>hadoop-core</artifactId>
                </exclusion>
            </exclusions>
    </dependency>
    
  3. from https://stackoverflow.com/questions/7815317/is-it-possible-to-use-apache-mahout-without-hadoop-dependency by cc-by-sa and MIT license