복붙노트

[HADOOP] 하둡 2.X에서 Nutch

HADOOP

하둡 2.X에서 Nutch

나는 하둡 2.2.0 및 HBase를 0.98.1를 실행하는 세 개의 노드 클러스터가 있고 그 상단에 Nutch 2.2.1 크롤러를 사용해야합니다. 그러나 그것은 단지 1.x의 지점에서 하둡 버전을 지원합니다. 지금까지 내 클러스터에 Nutch 작업을 제출할 수,하지만 그것은 java.lang.NumberFormatException의 실패합니다. 그래서 제 질문은 매우 간단하다 : 어떻게 내 환경에서 Nutch 작업을해야합니까?

해결법

  1. ==============================

    1.이 순간은 HBase와의 0.98.x.과 Nutch 2.2.1 (고라 0.3)을 통합하는 것은 불가능합니다 참조 : https://issues.apache.org/jira/browse/GORA-304

    이 순간은 HBase와의 0.98.x.과 Nutch 2.2.1 (고라 0.3)을 통합하는 것은 불가능합니다 참조 : https://issues.apache.org/jira/browse/GORA-304

    공식 Nutch 튜토리얼은 HBase를 가지 0.90.x 권장합니다 : http://wiki.apache.org/nutch/Nutch2Tutorial

    또한 당신은 오늘 생성 및 테스트 HBase를 0.94.24 - 하둡-2.5.0 버전을 다운로드 할 수 있습니다 : https://github.com/dobromyslov/hbase/releases/tag/0.94.24-hadoop-2.5.0

    Nutch의 2.2.1 HBase와의 0.94.x를 지원하지 않습니다 메모를 가지고 당신이 망할 놈의 지점에서 최신 Nutch 2.x를 얻을 수 있습니다 https://github.com/apache/nutch/tree/2.x를

  2. from https://stackoverflow.com/questions/23436168/nutch-in-hadoop-2-x by cc-by-sa and MIT license