[SCALA] 스파크 도서관에서 NPE가 발생합니다 별개의 전화와 함께지도

스파크 도서관에서 NPE가 발생합니다 별개의 전화와 함께지도

당신이 뭔가를 할 경우, 그래서 나는이 버그인지 확실치

// d:spark.RDD[String]
d.distinct().map(x => d.filter(_.equals(x)))

당신은 자바 NPE를 얻을 것이다. 뚜렷한 후 수집 즉시 할 경우, 모두 잘 될 것입니다.

나는 불꽃 0.6.1를 사용하고 있습니다.

해결법

1. ==============================

   1.스파크 다른 RDDs, 따라서 NullPointerException이 참조 중첩 RDDs 또는 사용자 정의 된 기능을 지원하지 않는다; 스파크 사용자의 메일 링리스트에이 스레드를 참조하십시오.

   스파크 다른 RDDs, 따라서 NullPointerException이 참조 중첩 RDDs 또는 사용자 정의 된 기능을 지원하지 않는다; 스파크 사용자의 메일 링리스트에이 스레드를 참조하십시오.

   현재 코드 그룹 값을 기준으로 D의 요소를 시도하는 것 같습니다; 당신은 효율적으로 GROUPBY () RDD 방식으로이 작업을 수행 할 수 있습니다

   scala> val d = sc.parallelize(Seq("Hello", "World", "Hello"))
   d: spark.RDD[java.lang.String] = spark.ParallelCollection@55c0c66a
   
   scala> d.groupBy(x => x).collect()
   res6: Array[(java.lang.String, Seq[java.lang.String])] = Array((World,ArrayBuffer(World)), (Hello,ArrayBuffer(Hello, Hello)))
   

2. ==============================

   2.스파크 1.3.0 스트림 프로그래밍 가이드에서 제공하는 윈도 예에 대해 무엇을

   스파크 1.3.0 스트림 프로그래밍 가이드에서 제공하는 윈도 예에 대해 무엇을

   val dataset: RDD[String, String] = ...
   val windowedStream = stream.window(Seconds(20))...
   val joinedStream = windowedStream.transform { rdd => rdd.join(dataset) }
   

   (가)은 An RDD의 변환 방법에서 호출되는 가입 이후 SPARK-5063은 실패 예 원인

from https://stackoverflow.com/questions/13770218/call-of-distinct-and-map-together-throws-npe-in-spark-library by cc-by-sa and MIT license