[HADOOP] 하둡 환경 변수

하둡 환경 변수

내 Mac에서 단일 노드 하둡 클러스터와 몇 가지 문제를 디버깅하기 위해 노력하고있어. 모든 설정 문서에 추가 할 말합니다 :

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

이 오류를 제거합니다 :

Unable to load realm info from SCDynamicStore

이것은 작동하지만, 단지 STDOUT을 위해 작동하는 것 같다. 내 하둡은 아래 디렉토리를 기록 확인 "작업 _ ### / atempt _ ### 표준 에러 /"오류가 여전히 :

2013-02-08 09:58:23.662 java[2772:1903] Unable to load realm info from SCDynamicStore

나는 하둡 스트리밍과 루비 코드를 실행하기 위해 하둡 환경에 RVM 루비로드 큰 어려움에 봉착했습니다. STDOUT은 RVM가로드 인쇄 오른쪽 루비 / gemset하지만 내 STDERR 로그를 사용하고 있습니다 :

env: ruby_noexec_wrapper: No such file or directory

그것은 여기에 몇 가지 다른 환경을 호출 않다면 하둡 실제로 작업을 실행하는 데 사용, 또는 어떤 경로를 알아낼 수있는 방법이 있습니까?

또한 배경 :

나는 브루를 통해 설치 하둡 1.1.1을 사용하고 있습니다. 그것은 매우 유사한 방식으로 설정이 "하둡 ON MAC OSX LION 설치"하둡 작업을 실행하기위한 래퍼로 3.0.0을 wukong의 구현을 디버깅 할 수 있습니다.

해결법

1. ==============================

   1.다른 사람들이 찾을 수 있도록 내 자신의 질문에 대답합니다.

   다른 사람들이 찾을 수 있도록 내 자신의 질문에 대답합니다.

   내 하둡-ENV에 RVM을로드 할 것처럼하지만 난 그것을 추가 한 후 클러스터를 다시 시작되지해야합니다. 당신의 루비 확인하고 gemsets가로드, 표준 RVM 절은 hadoop-env.sh에 추가. 뭔가 같은 :

   [[ -s "/Users/ScotterC/.rvm/scripts/rvm" ]] && source "/Users/ScotterC/.rvm/scripts/rvm"
   

   그리고 그것을 집어 있도록 클러스터를 다시 시작해야합니다. 이상한 일이지만, 다시 시작하지 않고, 내 로그는 RVM을로드했지만 그것은 분명 그 루비 실행되지 않았 음을 볼 수 있으며, 그것은 각각의 gemfiles을합니다. 다시 시작한 후 일했다.

from https://stackoverflow.com/questions/14775459/hadoop-environment-variables by cc-by-sa and MIT license