[HADOOP] Hadoop2.2와 두싯 오류
HADOOPHadoop2.2와 두싯 오류
나는 하둡 2.2에 코끼리 조련사 0.9 라이브러리를 사용하여 XML 파싱을위한 맵리 듀스 작업을 실행하기 위해 노력하고있어. 그러나 나는 다음과 같은 오류를 받고 있어요 :
14/02/24 16:03:02 INFO mapreduce.Job: Task Id : attempt_1393235568433_0004_m_000000_0, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
14/02/24 16:03:12 INFO mapreduce.Job: Task Id : attempt_1393235568433_0004_m_000000_1, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
14/02/24 16:03:31 INFO mapreduce.Job: Task Id : attempt_1393235568433_0004_m_000000_2, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
14/02/24 16:03:53 INFO mapreduce.Job: map 100% reduce 100%
14/02/24 16:03:53 INFO mapreduce.Job: Job job_1393235568433_0004 failed with state FAILED due to: Task failed task_1393235568433_0004_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0
나는 솔루션에 대한 검색을 시도했지만 두싯 0.8 또는 0.9은 하둡 2.2에 대한 지원되지 않는다는 내용의 링크 http://osdir.com/ml/general/2014-02/msg39414.html을 얻었다. 모든 가능한 workaroung?
해결법
-
==============================
1.한 시간 전에 두싯 마스터 지점에서 하둡 2.x에서 지원을 추가 공식적으로 소개 (코끼리 조련사-1329 참조)
한 시간 전에 두싯 마스터 지점에서 하둡 2.x에서 지원을 추가 공식적으로 소개 (코끼리 조련사-1329 참조)
여기 https://github.com/apache/mahout 코드를 체크 아웃 및 사용하여 컴파일 :
mvn clean package -Dhadoop2.version=2.2.0
시도하고 그 작동되는지 확인합니다.
from https://stackoverflow.com/questions/21985505/mahout-error-with-hadoop2-2 by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡 오류 : Java 힙 공간이 큰 데이터 세트를 사용하여 (0) | 2019.09.23 |
---|---|
[HADOOP] 무엇 하둡의 작업 기록 서버이며 왜 모드를 줄지도에서 돼지를 시작하기 전에 히스토리 서버를 시작하는 데 필수입니다? (0) | 2019.09.23 |
[HADOOP] PHP를 통해 돼지의 스트림 (0) | 2019.09.23 |
[HADOOP] 돼지 - XPATH를 사용하여 XML 데이터를 검색 (0) | 2019.09.23 |
[HADOOP] 의사 분산 모드 하둡 (0) | 2019.09.23 |