[SCALA] 어떻게 스파크 SQL에서 내림차순으로 열을 기준으로 정렬하려면?

어떻게 스파크 SQL에서 내림차순으로 열을 기준으로 정렬하려면?

나는 (10)를 보여줍니다. df.orderBy ( "COL1")을 시도했지만이 오름차순으로 정렬. df.sort ( "COL1은"). 또한 내림차순으로 정렬 (10)를 보여줍니다. I에 유래에보고하고 내가 찾은 답은 모두 구식이었다 또는 RDDs 언급했다. 나는 불꽃 네이티브 dataframe를 사용하고 싶습니다.

해결법

1. ==============================

   1.할 수 있습니다 스파크 SQL 함수를 가져 와서도 일종의 열

   할 수 있습니다 스파크 SQL 함수를 가져 와서도 일종의 열

   import org.apache.spark.sql.functions._
   df.orderBy(asc("col1"))
   

   또는

   import org.apache.spark.sql.functions._
   df.sort(desc("col1"))
   

   sqlContext.implicits._ 가져 오기

   import sqlContext.implicits._
   df.orderBy($"col1".desc)
   

   또는

   import sqlContext.implicits._
   df.sort($"col1".desc)
   

2. ==============================

   2.그것은 정렬 방법에 대한 org.apache.spark.sql.DataFrame에있다 :

   그것은 정렬 방법에 대한 org.apache.spark.sql.DataFrame에있다 :

   df.sort($"col1", $"col2".desc)
   

   정렬 열에 대한 참고 $ 및 .desc 내부 기준으로 결과를 정렬합니다.

3. ==============================

   3.PySpark 만

   PySpark 만

   PySpark에서 동일한 작업을 수행하고자 할 때이 게시물을 가로 질러왔다. 가장 쉬운 방법은 바로 상승이 False = 매개 변수를 추가하는 것입니다 :

   df.orderBy("col1", ascending=False).show(10)
   

   참조 : http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.DataFrame.orderBy

4. ==============================

   4.

   import org.apache.spark.sql.functions.desc
   
   df.orderBy(desc("columnname1"),desc("columnname2"),asc("columnname3"))
   

5. ==============================

   5.

   df.sort($"ColumnName".desc).show()
   

6. ==============================

   6.자바의 경우 :

   자바의 경우 :

   조인 적용하는 동안 우리는 DataFrames를 사용하는 경우 (여기에 내부 조인), 우리가 할 수있는 일종의 각 DF에서 고유 요소를 선택한 후 (ASC의) :

   Dataset<Row> d1 = e_data.distinct().join(s_data.distinct(), "e_id").orderBy("salary");
   

   E_ID 컬럼이다 ASC 급여으로 정렬되는 반면에인가 조인.

   또한, 우리는 스파크 SQL을 같이 사용할 수 있습니다 :

   SQLContext sqlCtx = spark.sqlContext();
   sqlCtx.sql("select * from global_temp.salary order by salary desc").show();
   

   어디

from https://stackoverflow.com/questions/30332619/how-to-sort-by-column-in-descending-order-in-spark-sql by cc-by-sa and MIT license