[HADOOP] oraoop와 오라클 데이터 가져 오기를위한 하둡과 Sqoop을 통합
HADOOPoraoop와 오라클 데이터 가져 오기를위한 하둡과 Sqoop을 통합
나는 oraoop와 특종을 사용하여 하둡 오라클 익스프레스 에디션 11g R2에서 데이터를 가져 오기 위해 노력 해왔다.
나는 CDH의 Sqoop을 설치하고 이미 실행중인 아파치 하둡을 통합하기 위해 노력했다.
그 oraoop 올바르게 사용하지만 난 수입에 다음과 같은 문제에 직면 발견했다. 또한 아파치 하둡과 아파치 Sqoop을 함께 시도했지만 여전히 다음과 같은 문제에 직면했다. 웹 검색은 아파치 하둡 대신뿐만 아니라 CDH의 하둡을 사용하도록 제안했다.
**
**
요약,
어떤 제안? 나는 올바른 길을 갈거야 확실하지 않다. 도와주세요.
해결법
-
==============================
1.하둡 (대응 CDH3에서 CDH4에) 2.0 하둡 하둡 1.0에서 거대한 리팩토링을 통해왔다. 한 부작용은 하둡 1.0 (CDH3)에 대해 컴파일하는 코드 하둡 2.0 (CDH4) 반대의 경우도 마찬가지과 호환되지 않습니다. 그러나 소스 코드 호환되며, 따라서 하나는 대상 하둡 배포판에 코드를 다시 컴파일 할 필요가있다.
하둡 (대응 CDH3에서 CDH4에) 2.0 하둡 하둡 1.0에서 거대한 리팩토링을 통해왔다. 한 부작용은 하둡 1.0 (CDH3)에 대해 컴파일하는 코드 하둡 2.0 (CDH4) 반대의 경우도 마찬가지과 호환되지 않습니다. 그러나 소스 코드 호환되며, 따라서 하나는 대상 하둡 배포판에 코드를 다시 컴파일 할 필요가있다.
예외는 "클래스 X를 찾을 수 있지만에서 인터페이스는 예상했다"당신이 그 반대의 하둡 2.0 (CDH4) 또는에 하둡 1.0 (CDH3)에 대한 컴파일 된 코드를 실행 할 때 매우 일반적입니다.
해결 방법은 간단합니다, 당신은 버전을 동기화해야합니다. CDH3 하둡 + CDH3 Sqoop을 또는 CDH4 하둡 + CDH4 Sqoop을 사용 갈 수있는 가장 간단한 방법입니다. 당신이 Sqoop을 릴리스를 상향 사용하는 것을 선호하는 경우에, 당신은 당신이 당신의 하둡 배포판 용으로 컴파일 된 바이너리 유물을 사용하고 있는지 확인해야합니다. 예 Sqoop을-1.4.2.bin__hadoop-1.0.0.tar.gz가 하둡 1.0 사용됨을 위해 [1] - 대상 하둡 분포 아티펙트 이름으로 Sqoop을 인코딩이 쉽게.
정확히 같은 제약 커넥터에 적용됩니다. 당신은 당신이 실행중인 하둡 버전 커넥터를 다운로드해야합니다. OraOop 경우 CDH3 CDH4 및 [2]에 대한 별도의 아티팩트도있다.
Jarcec
연결:
1: http://www.apache.org/dist/sqoop/1.4.2/
2: https://ccp.cloudera.com/display/con/Quest+Data+Connectors
from https://stackoverflow.com/questions/14195935/sqoop-integration-with-hadoop-for-oracle-data-import-with-oraoop by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡 스트리밍 mapred.local.dir 오류 (0) | 2019.10.07 |
---|---|
[HADOOP] 하둡 클러스터는 마스터 노드 또는 모든 노드를 사용하고 (0) | 2019.10.07 |
[HADOOP] 간단한 하이브 쿼리가 비어 있습니다 (0) | 2019.10.07 |
[HADOOP] 돼지 라틴어 줄에 JSON 배열에 파일을로드하는 방법 (0) | 2019.10.07 |
[HADOOP] 임시 HDFS 디렉토리에 대한 권한을 변경하는 방법 (0) | 2019.10.07 |