- 스파크 제출 연결할 수 없습니다

명령을 실행 한 후

spark-submit --class org.apache.spark.examples.SparkPi --proxy-user yarn --master yarn --deploy-mode cluster --driver-memory 4g --executor-memory 2g --executor-cores 1 --queue default ./examples/jars/spark-examples_2.11-2.3.0.jar 10000

I 출력이 얻을 그리고 재 시도에 유지합니다. 어디서 잘못된 것입니까? 나는 몇 가지 구성 실종?

나는 원사 및 해당 사용자를 실행하기위한 새 사용자를 만들었습니다.

WARN  Utils:66 - Your hostname, ukaleem-HP-EliteBook-850-G3 resolves to a loopback address: 127.0.1.1; using 10.XX.XX.XX instead (on interface enp0s31f6)
2018-06-14 16:50:41 WARN  Utils:66 - Set SPARK_LOCAL_IP if you need to bind to another address
Warning: Local jar /home/yarn/Documents/Scala-Examples/./examples/jars/spark-examples_2.11-2.3.0.jar does not exist, skipping.
2018-06-14 16:50:42 INFO  RMProxy:98 - Connecting to ResourceManager at /0.0.0.0:8032
2018-06-14 16:50:44 INFO  Client:871 - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

그리고 결국, 그것은 예외를 제공합니다

    Exception in thread "main" java.net.ConnectException: Call From ukaleem-HP-EliteBook-850-G3/127.0.1.1 to 0.0.0.0:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    at sun.reflect.GeneratedConstructorAccessor4.newInstance(Unknown Source)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:732)
    at org.apache.hadoop.ipc.Client.call(Client.java:1479)
    at org.apache.hadoop.ipc.Client.call(Client.java:1412)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
    at com.sun.proxy.$Proxy8.getClusterMetrics(Unknown Source)
    at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getClusterMetrics(ApplicationClientProtocolPBClientImpl.java:206)
    at sun.reflect.GeneratedMethodAccessor7.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:191)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
    at com.sun.proxy.$Proxy9.getClusterMetrics(Unknown Source)
    at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.getYarnClusterMetrics(YarnClientImpl.java:487)
    at org.apache.spark.deploy.yarn.Client$$anonfun$submitApplication$1.apply(Client.scala:155)
    at org.apache.spark.deploy.yarn.Client$$anonfun$submitApplication$1.apply(Client.scala:155)
    at org.apache.spark.internal.Logging$class.logInfo(Logging.scala:54)
    at org.apache.spark.deploy.yarn.Client.logInfo(Client.scala:59)
    at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:154)
    at org.apache.spark.deploy.yarn.Client.run(Client.scala:1146)
    at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1518)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:879)
    at org.apache.spark.deploy.SparkSubmit$$anon$1.run(SparkSubmit.scala:179)
    at org.apache.spark.deploy.SparkSubmit$$anon$1.run(SparkSubmit.scala:177)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:177)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:227)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:136)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
    at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:614)
    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:712)
    at org.apache.hadoop.ipc.Client$Connection.access$2900(Client.java:375)
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1528)
    at org.apache.hadoop.ipc.Client.call(Client.java:1451)
    ... 28 more
2018-06-14 17:10:53 INFO  ShutdownHookManager:54 - Shutdown hook called
2018-06-14 17:10:53 INFO  ShutdownHookManager:54 - Deleting directory /tmp/spark-5bddb7f3-165f-451c-8ab4-bb7729f4237c

편집 : 내 스파크 / conf의 디렉토리에 설정 파일을 추가 한 후, 지금이 오류가 발생합니다.

내가 추가 한 파일은

* 코어를 site.xml

dfs.hosts

마스터

노예

원사를 site.xml *

그리고 좀 더. 내가 이해하는 것은 내가 단지 실 클러스터의 위치를 촉발 알려 원사를 site.xml을 필요로한다는 것입니다. (IDS, 주소, 호스트 이름 등).

심지어 우리가 사에서 이러한 설정을 작업을 제출할 생각했던이 모든 시간을 / etc / 하둡 DIR하지 스파크 / conf의에서을에 이동해야합니다. 무슨 (다른 통신보다) 다음 하둡을 설치할 목적으로? 그리고이 질문에 다음과 같습니다. 는 config가 스파크 / conf의에 갈 필요가 있다면 HADOOP_CONF_DIR & YARN_CONF_DIR는 등 / 하둡 디렉토리 또는 스파크 / conf의를 가리켜 야?

    INFO client.ConfiguredRMFailoverProxyProvider: Failing over to rm2
18/06/19 11:04:50 INFO retry.RetryInvocationHandler: Exception while invoking getClusterMetrics of class ApplicationClientProtocolPBClientImpl over rm2 after 1 fail over attempts. Trying to fail over after sleeping for 38176ms.
java.net.ConnectException: Call From ukaleem-HP-EliteBook-850-G3/127.0.1.1 to svc-hadoop-mgnt-pre-c2-01.jamba.net:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:732)
    at org.apache.hadoop.ipc.Client.call(Client.java:1479)
    at org.apache.hadoop.ipc.Client.call(Client.java:1412)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
    at com.sun.proxy.$Proxy13.getClusterMetrics(Unknown Source)
    at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getClusterMetrics(ApplicationClientProtocolPBClientImpl.java:206)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:191)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
    at com.sun.proxy.$Proxy14.getClusterMetrics(Unknown Source)
    at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.getYarnClusterMetrics(YarnClientImpl.java:487)
    at org.apache.spark.deploy.yarn.Client$$anonfun$submitApplication$1.apply(Client.scala:155)
    at org.apache.spark.deploy.yarn.Client$$anonfun$submitApplication$1.apply(Client.scala:155)
    at org.apache.spark.internal.Logging$class.logInfo(Logging.scala:54)
    at org.apache.spark.deploy.yarn.Client.logInfo(Client.scala:59)
    at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:154)
    at org.apache.spark.deploy.yarn.Client.run(Client.scala:1146)
    at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1518)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:879)
    at org.apache.spark.deploy.SparkSubmit$$anon$1.run(SparkSubmit.scala:179)
    at org.apache.spark.deploy.SparkSubmit$$anon$1.run(SparkSubmit.scala:177)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:177)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:227)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:136)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
    at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:614)
    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:712)
    at org.apache.hadoop.ipc.Client$Connection.access$2900(Client.java:375)
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1528)
    at org.apache.hadoop.ipc.Client.call(Client.java:1451)
    ... 29 more

해결법

==============================
1.당신이 완전히 분산 실 클러스터가 가정 : 스크립트를 불꽃 제출하면 실 ResourceManager에 (기본적으로 실 마스터 노드)에 대한 구성을 찾을 수 없습니다. 당신이 HADOOP_CONF_DIR 제대로 환경에서 설정되어, 그것은 클러스터의 구성을 가리키는 지 확인하십시오. 특히 당신의 원사를 site.xml.

당신이 완전히 분산 실 클러스터가 가정 : 스크립트를 불꽃 제출하면 실 ResourceManager에 (기본적으로 실 마스터 노드)에 대한 구성을 찾을 수 없습니다. 당신이 HADOOP_CONF_DIR 제대로 환경에서 설정되어, 그것은 클러스터의 구성을 가리키는 지 확인하십시오. 특히 당신의 원사를 site.xml.

하둡 패키지는 서버 및 클라이언트 소프트웨어를 모두와 함께 제공됩니다. 서버 소프트웨어는 많은 데몬 클러스터를 구성하는 실행 될 것입니다. 워크 스테이션 (느슨하게 완전히 스파크에 --deploy 모드를 관련이없는 용어를 사용) 클라이언트로 작동하는 경우, 하둡 클라이언트 소프트웨어는 클러스터에서 실행되는 서버 데몬의 네트워크 위치를 알고 있어야합니다. 당신의 원사를 site.xml가 비어 있다면, 원사 defauls.xml에서 디폴트 값 (하드 코딩이다, 내가 생각을)입니다 당기고 있습니다.

클러스터는 대부분 기본 구성을 HA 모드에서 실행되고 있지 않습니다 가정하면, 다음 워크 스테이션의 원사를 site.xml은 적어도 다음과 같은 항목을 포함해야합니다 :
```
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>rm-host.yourdomain.com</value>
</property>
```
물론, 실제 리소스 관리자가 실행중인 호스트 이름과 호스트 이름을 바꿉니다. 물론, HDFS 어떤 스파크 상호 작용이 제대로 구성 HDFS-site.xml 파일이 필요합니다 등

일부 클러스터 관리 소프트웨어가 올바르게 외부 워크 스테이션에서 클러스터에 액세스하는 인구는 config 파일을 모두 당신에게 .tar.gz를 줄 것이다, (특히 내 클라우 데라 경험의 생각) "클라이언트 CONFIGS을 생성"같은 것을해야합니다.

또한 권장 사항 : 이 클러스터에 원사에 많은 불꽃을 할 계획이라면, 스파크는 당신이 당신의 원사 노드 관리자로 실행하도록 구성된 외부 셔플 서비스가 있는지 확인하는 것이 좋습니다. (명심하십시오,이 설정 지시어는 원사의 노드 관리자 서비스가 아닌 워크 스테이션에서 실행중인 실-site.xml 파일에 존재해야합니다.
==============================
2.경우에 당신은, 로컬 컴퓨터에서이 작업을 실행

경우에 당신은, 로컬 컴퓨터에서이 작업을 실행

당신의 / etc / hosts 파일을 업데이트 호스트 이름에 127.0.0.1을 입력합니다.

from https://stackoverflow.com/questions/50860764/spark-submit-unable-to-connect by cc-by-sa and MIT license

'HADOOP' 카테고리의 다른 글

[HADOOP] 하둡에 타사 항아리를 포함 (0)	2019.09.19
[HADOOP] 어떻게 pyspark 유사한 자바 파티션에 마루 파일을 작성하는? (0)	2019.09.19
[HADOOP] 여러 HBase를 테이블에 쓰기, 어떻게 context.write 사용합니까 (HKEY을 넣어)? (0)	2019.09.19
[HADOOP] fs.default.name 또는 HDFS로 S3를 사용하십니까? (0)	2019.09.19
[HADOOP] 하둡 감속기의 네이티브 라이브러리를로드? (0)	2019.09.19

복붙노트

[HADOOP] - 스파크 제출 연결할 수 없습니다

- 스파크 제출 연결할 수 없습니다

해결법

2.경우에 당신은, 로컬 컴퓨터에서이 작업을 실행

'HADOOP' 카테고리의 다른 글

티스토리툴바