[HADOOP] 돼지 스크립트는 카산드라 테이블을 읽기
HADOOP돼지 스크립트는 카산드라 테이블을 읽기
카산드라 테이블에서 데이터를 추출하는 돼지 스크립트를 작성하려고합니다. 돼지 스크립트는 다음과 같습니다 :
REGISTER ./cassandra-all-2.0.8.39.jar
REGISTER ./datastax-agent-4.1.4-standalone.jar
REGISTER ./cassandra-driver-core-2.0.2.1.jar
REGISTER ./apache-cassandra-thrift-2.0.12.jar
A = LOAD 'cql://username:password/mykeyspace/mycolumnfamily'
USING org.apache.cassandra.hadoop.pig.CqlStorage()
AS (user_id:long, fname:chararray, last_update_date:chararray, lname:chararray);
DUMP A;
나는 다음과 같은 메시지가 계속 :
지금까지 나는 '카산드라 - thrift.jar'의 버전 다음 시도했다 : 2.0.8.39, 2.0.12, 2.1.2. 그들 중 아무도 도움이 없다.
참고 : 다음과 같은 환경 변수가이 스크립트 외부에서 설정 한 :
export PIG_INITIAL_ADDRESS=machine-name
export PIG_RPC_PORT=9160
export PIG_PARTITIONER=org.apache.cassandra.dht.Murmur3Partitioner
어떤 제안?
해결법
from https://stackoverflow.com/questions/28570006/pig-script-to-read-cassandra-table by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡 / 하이브에 손상된은 gzip 파일을 처리 (0) | 2019.09.24 |
---|---|
[HADOOP] 하둡 MapReduce를 가진 이미지 처리 [폐쇄] (0) | 2019.09.24 |
[HADOOP] 사용자 정의 inputformat 하둡 0.20에 protobufs를 처리하는 (0) | 2019.09.24 |
[HADOOP] HBase를 하둡 (0) | 2019.09.24 |
[HADOOP] 찾거나 하둡의 메인 클래스의 오류를로드 할 수 없습니다 (0) | 2019.09.24 |