如何透視DataFrame？我開始使用SparkDataFrames，我需要能夠將數據轉到多個行的1列中創建多列。在燙傷中有內置的功能，我相信Python中的Pandas，但是我無法為新的SparkDataframe找到任何東西。我想我可以寫一些自定義函數來實現這一點，但我甚至不知道如何開始，特別是因為我是一個星火新手。我知道如何使用內置的功能或關于如何在Scala中編寫東西的建議來完成這一任務，這是非常值得贊賞的。
3 回答
翻過高山走不出你
TA貢獻1875條經驗 獲得超3個贊
id tag value 1 US 50 1 UK 100 1 Can 125 2 US 75 2 UK 150 2 Can 175
id US UK Can 1 50 100 125 2 75 150 175
val countries = List("US", "UK", "Can")val numCountries = countries.length - 1var query = "select *, "for (i <- 0 to numCountries-1) {
query += """case when tag = """" + countries(i) + """" then value else 0 end as """ + countries(i) + ", "}query += """case when tag = """"
+ countries.last + """" then value else 0 end as """ + countries.last + " from myTable"myDataFrame.registerTempTable("myTable")val myDF1 =
sqlContext.sql(query)添加回答
舉報
0/150
提交
取消