課程
/云計算&大數據
/Hadoop
/Hadoop進階
Shuffle就是combiner嗎?
2018-12-13
源自:Hadoop進階 2-3
正在回答
不是的,Combine在Shuffle之前
Combine:在Map階段,當所有數據處理完成后,Map Task對所有臨時文件進行一次合并
Shuffle:也稱Copy階段。Reduce Task從各個Map Task上遠程復制一片數據,并針對某一片數據進行判斷,如果其大小超過一定閥值,則寫到磁盤上,否則直接放入內存中
舉報
MapReduce原理,并實現簡單的推薦
3 回答藍色和綠色是兩種不同的key值,為什么會進到同一個parition (2-3 Map-Shuffle-Reduce)
1 回答計算相似度時是不是應該就是加個分母判0啊?
1 回答420M是一個完整的文件嗎?
1 回答partition reduce map 的數量指的是實例的數量嗎
1 回答wordcount的時候split階段按照128M來拆分文件的話,把單詞拆開了,那是不是就會統計有誤差?
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網安備11010802030151號
購課補貼聯系客服咨詢優惠詳情
慕課網APP您的移動學習伙伴
掃描二維碼關注慕課網微信公眾號
2018-12-17
不是的,Combine在Shuffle之前
Combine:在Map階段,當所有數據處理完成后,Map Task對所有臨時文件進行一次合并
Shuffle:也稱Copy階段。Reduce Task從各個Map Task上遠程復制一片數據,并針對某一片數據進行判斷,如果其大小超過一定閥值,則寫到磁盤上,否則直接放入內存中