복붙노트

[PYTHON] 없음 값이있는 Pyspark 데이터 프레임 열 필터링

PYTHON

없음 값이있는 Pyspark 데이터 프레임 열 필터링

행 값으로 없음을 가진 PySpark 데이터 프레임을 필터링하려고합니다 :

df.select('dt_mvmt').distinct().collect()

[Row(dt_mvmt=u'2016-03-27'),
 Row(dt_mvmt=u'2016-03-28'),
 Row(dt_mvmt=u'2016-03-29'),
 Row(dt_mvmt=None),
 Row(dt_mvmt=u'2016-03-30'),
 Row(dt_mvmt=u'2016-03-31')]

문자열 값으로 올바르게 필터링 할 수 있습니다.

df[df.dt_mvmt == '2016-03-31']
# some results here

그러나 이것은 실패합니다 :

df[df.dt_mvmt == None].count()
0
df[df.dt_mvmt != None].count()
0

그러나 각 카테고리에는 분명히 가치가 있습니다. 무슨 일이야?

해결법

  1. ==============================

    1.Column.isNull / Column.isNotNull을 사용할 수 있습니다.

    Column.isNull / Column.isNotNull을 사용할 수 있습니다.

    df.where(col("dt_mvmt").isNull())
    
    df.where(col("dt_mvmt").isNotNull())
    

    간단히 NULL 값을 버리려면 다음과 같이 na.drop을 부분 인수와 함께 사용할 수 있습니다.

    df.na.drop(subset=["dt_mvmt"])
    

    SQL NULL이 정의되지 않았기 때문에 NULL을 가진 평등 기반 비교는 작동하지 않습니다. 따라서 다른 값과 비교하려고하면 NULL이 반환됩니다.

    sqlContext.sql("SELECT NULL = NULL").show()
    ## +-------------+
    ## |(NULL = NULL)|
    ## +-------------+
    ## |         null|
    ## +-------------+
    
    
    sqlContext.sql("SELECT NULL != NULL").show()
    ## +-------------------+
    ## |(NOT (NULL = NULL))|
    ## +-------------------+
    ## |               null|
    ## +-------------------+
    

    값을 NULL과 비교하는 유일한 유효한 메소드는 isNull / isNotNull 메소드 호출과 동일한 IS / IS NOT입니다.

  2. ==============================

    2.그냥 isNotNull 함수를 사용해보십시오.

    그냥 isNotNull 함수를 사용해보십시오.

    df.filter(df.dt_mvmt.isNotNull()).count()
    
  3. ==============================

    3.dt_mvmt 열의 값이 null이 아닌 항목을 얻으려면 다음을 수행하십시오.

    dt_mvmt 열의 값이 null이 아닌 항목을 얻으려면 다음을 수행하십시오.

    df.filter("dt_mvmt is not NULL")
    

    우리가 가지고있는 엔트리가

    df.filter("dt_mvmt is NULL")
    
  4. from https://stackoverflow.com/questions/37262762/filter-pyspark-dataframe-column-with-none-value by cc-by-sa and MIT license