hadoop 中 map/reduce的原理？
1 回答
慕妹3242003
TA貢獻1824條經驗 獲得超6個贊
首先hadoop框架要求程序員將函數分成兩部分，即map和reduce函數。
map階段：就是將輸入通過map函數處理得出中間結果并通過hadoop框架分配到不同的reduce。
reduce階段：就是將中間結果通過reduce函數處理得到最后的結果。
以wordcount為例，在map階段，map函數在每個單詞后面加上一個1；在reduce階段，reduce函數將相同單詞后面的1都加起來。其中hadoop框架實現過程中的排序，分配等，當然這些也可以通過自定義的函數來控制。
- 1 回答
- 0 關注
- 701 瀏覽
添加回答
舉報
0/150
提交
取消