복붙노트

[HADOOP] Hadoop2.2와 두싯 오류

HADOOP

Hadoop2.2와 두싯 오류

나는 하둡 2.2에 코끼리 조련사 0.9 라이브러리를 사용하여 XML 파싱을위한 맵리 듀스 작업을 실행하기 위해 노력하고있어. 그러나 나는 다음과 같은 오류를 받고 있어요 :

14/02/24 16:03:02 INFO mapreduce.Job: Task Id : attempt_1393235568433_0004_m_000000_0, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
14/02/24 16:03:12 INFO mapreduce.Job: Task Id : attempt_1393235568433_0004_m_000000_1, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
14/02/24 16:03:31 INFO mapreduce.Job: Task Id : attempt_1393235568433_0004_m_000000_2, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
14/02/24 16:03:53 INFO mapreduce.Job:  map 100% reduce 100%
14/02/24 16:03:53 INFO mapreduce.Job: Job job_1393235568433_0004 failed with state     FAILED due to: Task failed task_1393235568433_0004_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0

나는 솔루션에 대한 검색을 시도했지만 두싯 0.8 또는 0.9은 하둡 2.2에 대한 지원되지 않는다는 내용의 링크 http://osdir.com/ml/general/2014-02/msg39414.html을 얻었다. 모든 가능한 workaroung?

해결법

  1. ==============================

    1.한 시간 전에 두싯 마스터 지점에서 하둡 2.x에서 지원을 추가 공식적으로 소개 (코끼리 조련사-1329 참조)

    한 시간 전에 두싯 마스터 지점에서 하둡 2.x에서 지원을 추가 공식적으로 소개 (코끼리 조련사-1329 참조)

    여기 https://github.com/apache/mahout 코드를 체크 아웃 및 사용하여 컴파일 :

    mvn clean package -Dhadoop2.version=2.2.0
    

    시도하고 그 작동되는지 확인합니다.

  2. from https://stackoverflow.com/questions/21985505/mahout-error-with-hadoop2-2 by cc-by-sa and MIT license