[SCALA] 스파크 : 불꽃 쉘에서 스파크 파일을 실행하는 방법

스파크 : 불꽃 쉘에서 스파크 파일을 실행하는 방법

나는 CDH 5.2을 사용하고 있습니다. 나는 명령을 실행 스파크 쉘을 사용 할 수 있어요.

미리 감사드립니다

해결법

1. ==============================

   1.에서 외부 파일을로드하려면 간단하게 할 불꽃을-쉘

   에서 외부 파일을로드하려면 간단하게 할 불꽃을-쉘

   :load PATH_TO_FILE
   

   이 파일의 모든 내용을 호출합니다.

   미안하지만 당신의 SBT 질문에 대한 해결책이없는 :-)

2. ==============================

   2.명령 줄에서 사용할 수 있습니다

   명령 줄에서 사용할 수 있습니다

   spark-shell -i file.scala
   

   file.scala로 작성된 코드를 실행하는

3. ==============================

   3.당신도 SBT를 사용하거나 컴파일 스파크 프로그램을 받는다는 할 수 있습니다. 간단히 받는다는에 대한 종속성으로 스파크를 추가

   당신도 SBT를 사용하거나 컴파일 스파크 프로그램을 받는다는 할 수 있습니다. 간단히 받는다는에 대한 종속성으로 스파크를 추가

   <repository>
         <id>Spark repository</id>
         <url>http://www.sparkjava.com/nexus/content/repositories/spark/</url>
   </repository>
   

   그리고 종속성 :

   <dependency>
         <groupId>spark</groupId>
         <artifactId>spark</artifactId>
         <version>1.2.0</version>
   </dependency>
   

   스파크 명령 파일을 실행의 측면에서 : 당신은 단순히이 작업을 수행 할 수 있습니다

   echo"
      import org.apache.spark.sql.*
      ssc = new SQLContext(sc)
      ssc.sql("select * from mytable").collect
   " > spark.input
   

   이제 명령 스크립트를 실행합니다 :

   cat spark.input | spark-shell
   

4. ==============================

   4.그냥 답변에 더 관점을 제공합니다

   그냥 답변에 더 관점을 제공합니다

   스파크 - 쉘은 스칼라 REPL입니다

   당신은 입력 할 수 있습니다 도움을 스칼라 쉘 내부에 가능 작업의 목록을 볼 수

   scala> :help
   All commands can be abbreviated, e.g., :he instead of :help.
   :edit <id>|<line>        edit history
   :help [command]          print this summary or command-specific help
   :history [num]           show the history (optional num is commands to show)
   :h? <string>             search the history
   :imports [name name ...] show import history, identifying sources of names
   :implicits [-v]          show the implicits in scope
   :javap <path|class>      disassemble a file or class name
   :line <id>|<line>        place line(s) at the end of history
   :load <path>             interpret lines in a file
   :paste [-raw] [path]     enter paste mode or paste a file
   :power                   enable power user mode
   :quit                    exit the interpreter
   :replay [options]        reset the repl and replay all previous commands
   :require <path>          add a jar to the classpath
   :reset [options]         reset the repl to its initial state, forgetting all session entries
   :save <path>             save replayable session to a file
   :sh <command line>       run a shell command (result is implicitly => List[String])
   :settings <options>      update compiler options, if possible; see reset
   :silent                  disable/enable automatic printing of results
   :type [-v] <expr>        display the type of an expression without evaluating it
   :kind [-v] <expr>        display the kind of expression's type
   :warnings                show the suppressed warnings from the most recent line which had any
   

   : 부하가 파일에 줄을 해석

from https://stackoverflow.com/questions/27717379/spark-how-to-run-spark-file-from-spark-shell by cc-by-sa and MIT license