[HADOOP] 돼지 초보자의 예 [예기치 않은 오류]

돼지 초보자의 예 [예기치 않은 오류]

나는 리눅스와 아파치 돼지에 새로운 오전. 나는 돼지를 알아 보려면이 자습서를 다음입니다 : http://salsahpc.indiana.edu/ScienceCloud/pig_word_count_tutorial.htm

이것은 예를 계산 기본적인 단어입니다. 사이트에 링크 된 데이터 파일 'input.txt를'과 단어 수의 패키지에 'wordcount.pig'프로그램 파일.

난 이미 돼지 0.11.1는 하둡 및 Java 6뿐만 아니라, 내 로컬 컴퓨터에 다운로드합니다.

나는 단어 수 패키지를 다운로드 할 때 그것은 "tar.gz의"파일에 데려 갔다. 나는이 유형에 익숙하지 않은 나는, 그것을 추출하는 방법을 잘하지 않았다. 그것은 파일 'input.txt를', 'wordcount.pig'와 추가 정보 파일이 포함되어 있습니다. 내 바탕 화면에 'input.txt를'을 저장. 나는 wordcount.pig을 저장할 위치를 확실하지 않았다, 단지 셸에서 선으로 명령 줄에 입력하기로 결정했다.

돼지 -x 지역을 다음과 같이 내가 로컬 모드에서 돼지를 실행

그리고 난 그냥 복사 - 붙여 넣기 꿀꿀 거리는 소리의 단어 count.pig 스크립트의 각 행을>과 같이 프롬프트 :

A = load '/home/me/Desktop/input.txt';

B = foreach A generate flatten(TOKENIZE((chararray)$0)) as word;

C = group B by word;

D = foreach C generate COUNT(B), group;

D 덤프;

이것은 다음과 같은 오류가 발생하는 경우 ...

Retrying connect to server: localhost/127.0.0.1:8021. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

 ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2043: Unexpected error during execution.

내 질문 :

1. 나는 디렉토리 돼지 0.11.1 내부의 특정 폴더에 'input.txt를'원래 'wordcount.pig'스크립트를 저장해야 하는가? 즉, 돼지 0.11.1 내부 단어라는 폴더를 만들고 거기에 wordcount.pig '와'input.txt를 '을 넣어 다음 꿀꿀> 프롬프트에서 "wordcount.pig"를 입력한다 ??? 나는 'dat.txt'말의 데이터를 가지고 있고, 스크립트, 'program.pig'를 말한다면 일반적으로, 여기서 나는 툴툴 거리는 소리 쉘에서 'program.pig'을 실행하도록 저장한다 ??? 나는 그들이 모두 돼지 0.11.1에 가야한다, 그래서 $ 돼지 -x 지역 wordcount.pig을 할 수 있다고 생각하지만, 나는 확실하지 않다.

2. 이유는 무엇에 시도로 선으로 스크립트 줄을 실행할 수 없습니다 무엇입니까? 나는 부하 문에서 파일 'input.txt을'의 위치를 ​​지정했습니다. 왜 그냥 라인으로 명령 줄을 실행하고 내 화면에 D의 내용을 덤프하지 않습니다 ???

삼. 나는 $ 돼지를 사용하여 맵리 듀스 모드에서 돼지를 실행하려고하면이 오류를 제공합니다 :

시도 정책 RetryUpToMaximumCountWithFixedSleep있다 (10 = 휴면 maxRetries = 1 SECONDS) 2013년 6월 3일 23 : 57 : 06956 [주] 에러 org.apache.pig.Main - ERROR 2,999 예기치 않은 내부 오류. 데이터 저장을 만들지 못했습니다

해결법

1. ==============================

   1.이 오류는 돼지가 작업을 실행하기 위해 하둡에 연결할 수 없음을 나타냅니다. 당신이 그것을 설치 한 - 당신은 당신이 하둡을 다운로드 한 말? 당신이 빈 / start-all.sh 스크립트를 실행 한 - 당신이 그것을 설치 한 경우이 문서에 따라 그것을 시작했다? 지역 -x 사용하는 대신 HDFS의 로컬 파일 시스템을 사용하는 돼지를 알려줍니다,하지만 여전히 실행을 수행하기 위해 실행 하둡 인스턴스를 필요로한다. 돼지를 실행하기 전에 설정, 해당 지역의 "클러스터"를 얻기 위해 하둡 문서를 따라 확인하여 네임 노드, DataNode에서 등까지 실행되어 있는지 확인하십시오.

   이 오류는 돼지가 작업을 실행하기 위해 하둡에 연결할 수 없음을 나타냅니다. 당신이 그것을 설치 한 - 당신은 당신이 하둡을 다운로드 한 말? 당신이 빈 / start-all.sh 스크립트를 실행 한 - 당신이 그것을 설치 한 경우이 문서에 따라 그것을 시작했다? 지역 -x 사용하는 대신 HDFS의 로컬 파일 시스템을 사용하는 돼지를 알려줍니다,하지만 여전히 실행을 수행하기 위해 실행 하둡 인스턴스를 필요로한다. 돼지를 실행하기 전에 설정, 해당 지역의 "클러스터"를 얻기 위해 하둡 문서를 따라 확인하여 네임 노드, DataNode에서 등까지 실행되어 있는지 확인하십시오.

2. ==============================

   2.하둡과 돼지가 서로 통신하는 데 실패하면 2043 오류가 발생합니다.

   하둡과 돼지가 서로 통신하는 데 실패하면 2043 오류가 발생합니다.

   오른쪽 클릭을하지 마십시오 -> tar.gz의 파일을 처리 할 때, 여기에 압축을 해제합니다.

   를 추출 할 때 U는 항상 터미널에 .tar.gz를 * -xzvf 타르를 할 shud.

   나는 유 pig..tar.gz 파일을 여기에 선택 추출물에 마우스 오른쪽 버튼으로 클릭 할 때 돼지가 제대로 설치되지 않은 것으로 나타났습니다. 그것은 터미널에서 타르 -xzvf pig..tar.gz을하는 것이 좋다.

   u는 명령의 돼지 -x 지역 종류를 실행하기 전에 u는 하둡을 실행하고 있는지 확인합니다.

   u는 툴툴 거리는 소리> 프롬프트에서 사용에서 * .pig 파일을 실행하려면 : 툴툴 거리는 소리> 간부 *의 .pig

   u는 툴툴 거리는 소리> 프롬프트에서 사용하는 외부 돼지 파일을 실행하려면 : $ 돼지 -x 지역 *의 .pig

from https://stackoverflow.com/questions/16910260/pig-beginners-example-unexpected-error by cc-by-sa and MIT license