[HADOOP] 불꽃을 사용하여에서 SBT 원사에 대한 오류

불꽃을 사용하여에서 SBT 원사에 대한 오류

안녕 난이 코드를 쓰고 때

>sbt

그리고이 결과를 본 후에

beyhan@beyhan:~/sparksample$ sbt
Starting sbt: invoke with -help for other options
[info] Set current project to Spark Sample (in build file:/home/beyhan/sparksample/)

그리고 후에이 코드를 쓰고 있어요

>compile

그리고 난이 오류를 얻고있다

[error] {file:/home/beyhan/sparksample/}default-f390c8/*:update: sbt.ResolveException: unresolved dependency: org.apache.hadoop#hadoop-yarn-common;1.0.4: not found
    [error] unresolved dependency: org.apache.hadoop#hadoop-yarn-client;1.0.4: not found
    [error] unresolved dependency: org.apache.hadoop#hadoop-yarn-api;1.0.4: not found
    [error] download failed: org.eclipse.jetty.orbit#javax.transaction;1.1.1.v201105210645!javax.transaction.orbit
    [error] download failed: org.eclipse.jetty.orbit#javax.servlet;3.0.0.v201112011016!javax.servlet.orbit
    [error] download failed: org.eclipse.jetty.orbit#javax.mail.glassfish;1.4.1.v201005082020!javax.mail.glassfish.orbit
    [error] download failed: org.eclipse.jetty.orbit#javax.activation;1.1.0.v201105071233!javax.activation.orbit
    [error] Total time: 14 s, completed Oct 16, 2015 3:58:48 PM

내 sparksample이 있습니다.

beyhan@beyhan:~/sparksample$ ll
total 20
drwxrwxr-x  4 beyhan beyhan 4096 Eki 16 16:02 ./
drwxr-xr-x 57 beyhan beyhan 4096 Eki 16 15:27 ../
drwxrwxr-x  2 beyhan beyhan 4096 Eki 16 16:02 project/
-rw-rw-r--  1 beyhan beyhan  142 Eki 15 18:57 simple.sbt
drwxrwxr-x  3 beyhan beyhan 4096 Eki 15 11:14 src/

또한 SRC 파일이

src>main>scala>SimpleCode.scala

그리고 이런 내 simple.sbt 파일

name := "Spark Sample"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.2.0"

내가 무엇을해야합니까? 내가이 없기 때문에 내 원사에 대한이 오류를 생각한다. 감사.

해결법

1. ==============================

   1.org.apache.hadoop #의 하둡 - 원사 - 클라이언트의이 종속성, 그것은 때문에 build.sbt의처럼 1.0.4 당신은 보이지 않는다. 아마도 ~ / .ivy2 또는 ~ / .m2, 아니면 때문에 일부 프로젝트 / *의에 캐시 파일에 문제가있다. 추가 종속성을 도입 SBT 파일.

   org.apache.hadoop #의 하둡 - 원사 - 클라이언트의이 종속성, 그것은 때문에 build.sbt의처럼 1.0.4 당신은 보이지 않는다. 아마도 ~ / .ivy2 또는 ~ / .m2, 아니면 때문에 일부 프로젝트 / *의에 캐시 파일에 문제가있다. 추가 종속성을 도입 SBT 파일.

   그래도 나를 위해 잘 작동합니다 :

   build.sbt

   $ cat build.sbt 
   name := "Spark Sample"
   
   version := "1.0"
   
   scalaVersion := "2.11.7"
   
   libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0"
   

   모든 종속성 해결 :

   $의 SBT 컴파일 얻기 0.13.9 SBT org.scala는-SBT ... :: 검색 :: org.scala-SBT 번호 부팅 응용 프로그램     confs : [기본]     복사 (52 개) 유물, 0 이미 검색 (17785kB / 791ms) (SBT에 대한) 스칼라 2.10.5 얻기 ... :: 검색 :: org.scala-SBT 번호 부팅 스칼라     confs : [기본]     복사 5 개 유물, 0 이미 검색 (24493kB / 306ms) 샘플을 촉발 현재 프로젝트를 [정보] (빌드 파일 : / 홈 / tuxdna / tmp를 / P /) [정보] 업데이트 {파일 : / 홈 / tuxdna / tmp를 / P /} 피 ... [정보] 해결 jline #의 jline; 2.12.1 ... [정보] https://repo1.maven.org/maven2/org/apache/spark/spark-core_2.11/1.2.0/spark-core_2.11-1.2.0.jar을 다운로드 ... [정보] [SUCCESSFUL] org.apache.spark # 스파크 core_2.11;! 1.2.0 스파크를 core_2.11.jar (31007ms) [정보] https://repo1.maven.org/maven2/org/apache/spark/spark-network-common_2.11/1.2.0/spark-network-common_2.11-1.2.0.jar을 다운로드 ... [정보] [SUCCESSFUL] org.apache.spark # 스파크 네트워크 common_2.11;! 1.2.0 스파크 네트워크를 common_2.11.jar (1873ms) [정보] https://repo1.maven.org/maven2/org/apache/spark/spark-network-shuffle_2.11/1.2.0/spark-network-shuffle_2.11-1.2.0.jar을 다운로드 ... [정보] [SUCCESSFUL] org.apache.spark # 스파크 네트워크 shuffle_2.11;! 1.2.0 스파크 네트워크를 shuffle_2.11.jar (2122ms) [정보] 업데이트 완료. [성공] 총 시간 : 61 개들, 2015년 10월 17일 오전 12시 48분 49초를 완료

   내 설치 스칼라와 SBT 버전을 참고 :

   $ sbt sbt-version
   [info] Set current project to Spark Sample (in build file:/home/tuxdna/tmp/p/)
   [info] 0.13.9
   $ scala -version
   Scala code runner version 2.11.2 -- Copyright 2002-2013, LAMP/EPFL
   

   당신은 별도의 사용자를 사용하여 (또는 어쩌면 별도의 시스템에) 다음 단계를 시도 할 수 있을까요?

from https://stackoverflow.com/questions/33171330/error-about-sbt-yarn-at-using-spark by cc-by-sa and MIT license