[HADOOP] 마스터 'yarn'으로 실행하는 경우 HADOOP_CONF_DIR 또는 YARN_CONF_DIR을 환경에 설정해야합니다.

마스터 'yarn'으로 실행하는 경우 HADOOP_CONF_DIR 또는 YARN_CONF_DIR을 환경에 설정해야합니다.

원사를 사용하여 Spark를 실행하려고하는데이 오류가 발생합니다.

스레드 "main"의 예외 java.lang.Exception : master 'yarn'으로 실행하는 경우 HADOOP_CONF_DIR 또는 YARN_CONF_DIR을 환경에 설정해야합니다.

나는 "환경"이 어디에 있는지 확실하지 않다 (특정 파일은 무엇인가?). 내가 사용 해봤 :

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

bash_profile에서,하지만 이것은 도움이되지 않습니다.

해결법

1. ==============================

   1.Yarn을 사용하여 spark를 실행하는 동안 spark-env.sh에 다음 줄을 추가해야합니다.

   Yarn을 사용하여 spark를 실행하는 동안 spark-env.sh에 다음 줄을 추가해야합니다.

   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
   

   참고 : $ HADOOP_HOME / etc / hadoop이 환경에 맞는지 확인하십시오. 그리고 spark-env.sh는 HADOOP_HOME의 내보내기도 포함합니다.

from https://stackoverflow.com/questions/45703235/when-running-with-master-yarn-either-hadoop-conf-dir-or-yarn-conf-dir-must-be by cc-by-sa and MIT license