數據傾斜問題
請問老師，當集群一共有4個節點時，數據只存儲在其中2個節點上，如果4個節點都參與計算時，是不是只有有數據的節點才在真正運算，剩下倆個節點都在空轉劃水？還是集群會重新把數據平均傳輸到4個節點上，大家再一起算？
WHU20163025803504180544
2020-10-26
1 回答
舉報
0/150
提交
取消
2020-10-30
針對你說的這種場景，會出現這種結果：
有2個節點讀取本地節點中的數據進行本地計算，另外2個節點上沒有數據的，則會跨節點拉取數據進行計算。
默認情況下會優先讀取本節點的數據，這是最優的策略，如果由于各種原因無法滿足這種策略，會退而求其次，進行跨節點數據傳輸