-
算法示例圖
查看全部 -
輸入文件格式
查看全部 -
第四步操作
查看全部 -
第三步操作
查看全部 -
第二步操作
查看全部 -
第一步操作
查看全部 -
分布式緩存機制
查看全部 -
Map到Reduce流程圖
查看全部 -
本地優化(Combine) Mao先按照key進行一輪排序和合并,再進行網絡混洗。
查看全部 -
Map任務個數優化
查看全部 -
輸入文件優化
查看全部 -
設置block大小
查看全部 -
map - 內存(產生小文件)-combine分區合并小文件 - shuffle網絡混洗 - 同一key放入相同partition - 合并partition中小文件 - reduce
查看全部 -
map端無論有沒有Combine階段,其實都會進行排序。Combine是對本地數據的reduce操作,按照key合并
查看全部 -
map - shuffle - reduce
查看全部
舉報
0/150
提交
取消