我的數據框看起來像這樣------+-------+ |cat_id|counter|+------+-------+| 12| 61060|| 1| 542118|| 13| 164700|| 3| 406622|| 5| 54902|| 10| 118281|| 11| 13658|| 14| 72229|| 2| 131206|+------+-------+獲取上述數據框的查詢是: grouped_data = dataframe.groupBy("cat_id").agg(count("*").alias("counter"))現在我需要讀取不同 cat_id 的值以將其保存在另一個數據庫中。我完成它的方法是在我的 id 上使用 for 循環for cat_id in cat_ids_map: statsCount = grouped_data.select("counter").filter("cat_id = " + cat_id).collect()[0].counter但我認為可以有更好的方法來讀取計數器而無需 for 循環。任何的意見都將會有幫助?。?!
如何從 python 中的 Spark 數據幀訪問特定列?
幕布斯6054654
2023-05-16 14:26:03