[HADOOP] 돼지 : 하둡 작업 실패

돼지 : 하둡 작업 실패

나는 csv 파일에서 데이터를 조회하는 돼지 스크립트가 있습니다.

스크립트는 크고 작은 .CSV 파일을 로컬에서 테스트되었습니다.

작은 클러스터의 경우 : 이 스크립트를 처리하기 시작하고, 전화의 40 %를 완료 한 후 실패

이 오류는, 그냥     "파일 경로"에서 데이터를 읽지 못했습니다

내가 추측하는 스크립트 파일을 읽을 수 있다는 것입니다,하지만 일부 연결 드롭이 메시지가 잃을

그러나 나는 단지 위에서 언급 한 오류가 발생합니다.

해결법

1. ==============================

   1.일반 문제에 대한 대답은 mapred-site.xml을이 두 줄을 추가, 구성 파일의 오류 수준을 변경하는 것

   일반 문제에 대한 대답은 mapred-site.xml을이 두 줄을 추가, 구성 파일의 오류 수준을 변경하는 것

   log4j.logger.org.apache.hadoop = error,A 
   log4j.logger.org.apache.pig= error,A
   

   내 경우, 메모리 부족 예외였다

2. ==============================

   2.당신의 로그를 확인 필요한 경우 상세 레벨을 증가하지만, 아마도 당신이 직면하고 아웃 된 MEM 오류가 있습니다.

   당신의 로그를 확인 필요한 경우 상세 레벨을 증가하지만, 아마도 당신이 직면하고 아웃 된 MEM 오류가 있습니다.

   돼지 로깅을 변경하는 방법에 대한이 답변을 확인합니다.

   여기에 문서화 볼 수 하둡에서 메모리를 변경하면 hadoop-env.sh 파일을 변경

   # The following applies to multiple commands (fs, dfs, fsck, distcp etc)
   export HADOOP_CLIENT_OPTS="-Xmx128m ${HADOOP_CLIENT_OPTS}"
   

   아파치 PIG 위해 당신은 돼지 bash는 파일의 헤더이있다 :

   # PIG_HEAPSIZE The maximum amount of heap to use, in MB.
   # Default is 1000.
   

   그래서 당신은 수출을 사용하거나의 .bashrc 파일에 설정할 수 있습니다

   $ export PIG_HEAPSIZE=4096MB
   

from https://stackoverflow.com/questions/27524788/pig-hadoop-jobs-fail by cc-by-sa and MIT license