DataFrame/DataSet組的行為/優化假設我們有DataFramedf由下列欄組成：姓名，姓氏，大小，寬度，長度，體重現在我們想要執行幾個操作，例如，我們希望創建包含大小和寬度數據的幾個DataFrame。val df1 = df.groupBy("surname").agg( sum("size") )val df2 = df.groupBy("surname").agg( sum("width") )您可以注意到，其他列，如Length，在任何地方都不使用。斯派克是否足夠聰明，在洗牌階段之前丟棄多余的列，還是它們被隨身攜帶？Wil Run：val dfBasic = df.select("surname", "size", "width")在分組之前對性能有什么影響？
2 回答
素胚勾勒不出你
TA貢獻1827條經驗 獲得超9個贊
我試圖搜索和讀取任何解釋跨節點混合操作的源，這些操作的性能和分布是DataFrame(特別是)和RDD在節點上的操作，但是可以找到，給出的只是示例和輸出。你能指導教授這樣的概念的課程嗎(比如RDD中的groupbyKey是昂貴的，而df中的groupby不是)
添加回答
舉報
0/150
提交
取消