[HADOOP] 윈도우 기능을 사용하여 지원 스파크

윈도우 기능을 사용하여 지원 스파크

나는 (내가 python.I으로 불꽃을 사용하고 1.6.0..while 스파크 버전을 사용하여 Windows 기능은 내가 내 쿼리 창 기능을 사용하려고 할 때 같이 사용하고있는 스파크의 버전에서 지원되지 않은 것을 발견하고 당신은 내가 여러 가지를 검색하고 내가 스파크 버전 1.4.0을 사용할 필요가있다. 나 또한 더 luck.Some 게시물했던 어떤 발견 하이브 functionality'.Following와 불꽃을 구축하는 데 필요한 '로) sparksql를 사용하여 나에게 오류를 준 내가 할 수있는 올바른 방법을 발견하지 않았다 functionality.But 하이브와 스파크를 구축 할 것을 제안했다. 사용할 때 스파크 1.4.0.I는 다음과 같은 오류가 발생했습니다.

raise ValueError("invalid mode %r (only r, w, b allowed)")
ValueError: invalid mode %r (only r, w, b allowed)
16/04/04 14:17:17 WARN PythonRDD: Incomplete task interrupted: Attempting to kil
l Python Worker
16/04/04 14:17:17 INFO HadoopRDD: Input split: file:/C:/Users/test
esktop/spark-1.4.0-bin-hadoop2.4/test:910178+910178
16/04/04 14:17:17 INFO Executor: Executor killed task 1.0 in stage 1.0 (TID 2)
16/04/04 14:17:17 WARN TaskSetManager: Lost task 1.0 in stage 1.0 (TID 2, localh
ost): TaskKilled (killed intentionally)
16/04/04 14:17:17 INFO TaskSchedulerImpl: Removed TaskSet 1.0, whose tasks have
all completed, from pool

해결법

1. ==============================

   1.나는 이것이 내가 비슷한 질문에 대답 세 번째이라고 생각 :

   나는 이것이 내가 비슷한 질문에 대답 세 번째이라고 생각 :

   윈도우 기능은 일정한는 SqlContext HiveContext와하지를 지원합니다.

   하이브 지원 불꽃을 구축하는 방법에 관한 대답은 공식 건물 점화 문서입니다 :

   하이브와 JDBC 지원과 구축 그 JDBC 서버 및 CLI와 함께 스파크 SQL에 대한 하이브 통합을 사용하려면 기존 빌드 옵션에 -Phive 및 Phive-thriftserver 프로파일을 추가합니다. 기본 스파크에 의해 하이브 0.13.1 바인딩 구축 할 것입니다.

   mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package
   

   스칼라 2.11로 컴파일 불꽃 패키지를 생성하려면 -Dscala - 2.11 속성을 사용합니다 :

   ./dev/change-scala-version.sh 2.11
   mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package
   

   마법 모든 문서에 여기에있다.

from https://stackoverflow.com/questions/36397161/spark-support-for-using-windows-function by cc-by-sa and MIT license