使用 Spark 2.2 Java 1.8我需要收集數組列的集合。但它給了我 WrappedArray。請參閱下文。Dataset<Row> df2 = df.groupBy("id").agg(collect_list("values"))df2.show(truncate=False)# +-----+----------------------------------------------+ # |id| collect_list(values) | # +-----+----------------------------------------------+ # |1 |[WrappedArray(1, 2, 3), WrappedArray(4, 5, 6)]| # |2 |[WrappedArray(2), WrappedArray(3)] | # +-----+----------------------------------------------+Expected output : = # +-----+------------------+# |store| values |# +-----+------------------+# |1 |[1, 2, 3, 4, 5, 6]|# |2 |[2, 3] |# +-----+------------------+我們如何在 spark java 中實現上述輸出。有人可以幫忙嗎?謝謝。
2 回答

拉丁的傳說
TA貢獻1789條經驗 獲得超8個贊
分組前可以使用“explode”函數:
df.withColumn("values", explode($"values")).groupBy("id").agg(collect_list($"values"))
添加回答
舉報
0/150
提交
取消