[HADOOP] 예외 : java.lang.Exception : master 'yarn'을 사용하여 실행하는 경우 HADOOP_CONF_DIR 또는 YARN_CONF_DIR을 환경에 설정해야합니다. 스파크에

예외 : java.lang.Exception : master 'yarn'을 사용하여 실행하는 경우 HADOOP_CONF_DIR 또는 YARN_CONF_DIR을 환경에 설정해야합니다. 스파크에

나는 새로운 apache-spark입니다. 독립 실행 형 spark에서 일부 응용 프로그램을 테스트했습니다.하지만 응용 원사 모드를 실행하고 싶습니다. Windows에서 apache-spark 2.1.0을 실행하고 있습니다. 여기에 내 코드가 있습니다.

c:\spark>spark-submit2 --master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJars\config-1.3.1.jar,C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.driver.userClasspathFirst=true --conf spark.executor.extraClassPath=C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:\sbtazure\target\scala-2.11\azuregeologproject_2.11-1.0.jar

예외 : master 'yarn'으로 실행하는 경우 환경에 HADOOP_CONF_DIR 또는 YARN_CONF_DIR을 설정해야합니다. 스파크에

그래서 검색 웹 사이트에서. 내가 Hadoop_CONF_DIR라는 폴더 이름을 만들고 그 안에 hiber site.xml을 놓고 환경 변수로 지적했다. 그 후 spark-submit을 실행했다.

연결이 거부 된 예외 나는 원사 모드를 제대로 구성 할 수 없다고 생각합니다. 누구든지이 문제를 해결하는데 도움이 될 수 있습니까? Hadoop과 원사를 별도로 설치해야합니까? 의사 배포 모드로 응용 프로그램을 실행하고 싶습니다. Windows에서 원사 모드를 구성하는 데 도움이됩니다. 감사합니다.

해결법

1. ==============================

   1.구성 파일을 원사에서 볼 수있게하려면 두 개의 변수 HADOOP_CONF_DIR 및 YARN_CONF_DIR을 내 보내야합니다. 리눅스를 사용한다면 아래의 코드를 .bashrc 파일에서 사용하십시오.

   구성 파일을 원사에서 볼 수있게하려면 두 개의 변수 HADOOP_CONF_DIR 및 YARN_CONF_DIR을 내 보내야합니다. 리눅스를 사용한다면 아래의 코드를 .bashrc 파일에서 사용하십시오.

   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
   export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
   

   윈도우에서는 환경 변수를 설정해야합니다.

   희망이 도움이!

2. ==============================

   2.원사를 사용하여 spark를 실행하는 경우 spark-env.sh에 다음을 추가해야합니다.

   원사를 사용하여 spark를 실행하는 경우 spark-env.sh에 다음을 추가해야합니다.

   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
   

from https://stackoverflow.com/questions/44434308/exception-java-lang-exception-when-running-with-master-yarn-either-hadoop-co by cc-by-sa and MIT license