[HADOOP] Livy의 REST 점화 java.io.FileNotFoundException :
HADOOPLivy의 REST 점화 java.io.FileNotFoundException :
나는 결코 빅 데이터에서 오전하지, 난 아파치 리비 (Livy)와 스파크 작업을 호출 할 노력했다. 명령 줄은 잘 작동 제출과 함께. Livy의 난에 예외를 가지고
2019년 6월 1일 00 : 43 : 19,160이 util.NativeCodeLoader을 WARN : 내장 - 자바 클래스에 해당되는 경우를 사용하여 ... 당신의 플랫폼을위한 네이티브 하둡 라이브러리를로드 할 수 없습니다 파일 HDFS : 스레드 "주요"java.io.FileNotFoundException의 예외 // localhost를 : 9000 / 집 / 스파크 2.4.3 - 빈 - hadoop2.7 / 예 / 항아리 / 스파크 examples_2.11-2.4.3.jar 존재하지 않는다. org.apache.hadoop.hdfs.DistributedFileSystem.listStatusInternal에서 (DistributedFileSystem.java:795) ....... org.apache.spark.deploy.SparkSubmit $$ 곧 $ 2.doSubmit (SparkSubmit.scala : 924) org.apache.spark.deploy.SparkSubmit $의 .main에서 (SparkSubmit.scala : 933) org.apache.spark.deploy.SparkSubmit.main에서 (SparkSubmit.scala)
해결법
-
==============================
1.하둡을 실행하여 해결할 @ cricket_007 주석과 관련이 -copyFromLocal 명령 줄을 내지 fs
하둡을 실행하여 해결할 @ cricket_007 주석과 관련이 -copyFromLocal 명령 줄을 내지 fs
-
==============================
2.이 로컬 컴퓨터에 있으면 다음 '파일'을 사용해보십시오 : '지역 : 대한 / 경로 파일>
이 로컬 컴퓨터에 있으면 다음 '파일'을 사용해보십시오 : '지역 : 대한 / 경로 파일>
from https://stackoverflow.com/questions/56414713/livy-rest-spark-java-io-filenotfoundexception by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 효과적으로 큰 마루 파일을 병합 (0) | 2019.09.30 |
---|---|
[HADOOP] HDFS에 두 개의 마루 파일을 병합 (0) | 2019.09.30 |
[HADOOP] 배 사육사 타임 아웃 기간 30000 내에서 사육사에 연결하지 못했습니다 (0) | 2019.09.30 |
[HADOOP] JDBC 소스에서 데이터를 마이그레이션 할 때 어떻게 분할을 최적화? (0) | 2019.09.30 |
[HADOOP] 어떻게 outputcollector 작품? (0) | 2019.09.30 |