sparksql怎樣取分組后的topn
sparksql怎樣取分組后的topn?
慕無忌1623718
2018-11-15 19:14:13
TA貢獻1798條經驗 獲得超3個贊
sparksql怎樣取分組后的topn
Spark SQL 開窗函數
1、Spark 1.5.x版本以后,在Spark SQL和DataFrame中引入了開窗函數,比如最經典的就是我們的row_number(),可以讓我們實現分組取topn的邏輯。
2、做一個案例進行topn的取值(利用Spark的開窗函數),不知道是否還有印象,我們之前在最早的時候,做過topn的計算,當時是非常麻煩的。但是現在用了Spark SQL之后,非常方便。
舉報