我目前在 2.4.5 版上有一個由 1 個驅動程序和 2 個工人組成的 Spark 集群。我想進一步優化并行性，以便在加載和處理數據時獲得更好的吞吐量，當我這樣做時，我經常在控制臺上收到這些消息：WARN scheduler.TaskSetManager: Stage contains a task of very large size (728 KB). The maximum recommended task size is 100 KB.這是如何運作的？我對 Spark 技術還很陌生，但了解它的基礎知識，我想知道如何優化它，但我不確定它是否涉及配置從屬設備以擁有更多執行程序并通過這種方式獲得更多并行性，或者我是否需要使用合并或重新分區功能對我的數據幀進行分區。
1 回答
慕標5832272
TA貢獻1966條經驗 獲得超4個贊
這里的一般要點是您需要重新分區以獲得更多但更小的分區，以獲得更多的并行性和更高的吞吐量。728k 是與您的舞臺相關的任意數字。當我剛開始使用 Scala 和 Spark 時，有時會遇到這種情況。
我看不到你的代碼，所以我把它留在這里。但是在這里谷歌搜索 SO 表明也缺乏并行性。老實說，眾所周知。
添加回答
舉報
0/150
提交
取消