亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

初學Hadoop,請問文件大小小于64M時,增加節點對處理速度有影響嗎?

初學Hadoop,請問文件大小小于64M時,增加節點對處理速度有影響嗎?

夢里花落0921 2018-10-13 13:34:16
初學Hadoop,有一部分看不懂,文件分塊為64M,分片時也是64M,那么對于小于64M的文件,就只對應了一個map是嗎,這樣的話,集群節點個數從1個增加到6個,并行處理的還是一個機子,因此速度并沒有提高是嗎?如果是128M的文件,當使用2個節點的時候速度比1個節點快,但是三個以上節點的話,速度再沒有提高是嗎??不知道我的理解是否正確,希望大家賜教!!
查看完整描述

2 回答

?
慕妹3146593

TA貢獻1820條經驗 獲得超9個贊

這就是一種分區策略,數據越分散,單個節點的壓力等于說越小,熱點數據也可以緩解,hadoop的64M可以配置的,樓主可以研究一下

查看完整回答
反對 回復 2018-10-27
?
www說

TA貢獻1775條經驗 獲得超8個贊

是的.一個分片對應一個map,一個map對應一個MapTask,map的數量和分片的數量相等.
只有一個分片時,其他節點不參與計算.
到hadoop2.0之后,默認的塊大小是128M. 
課可以修改塊的大小來增多map.

查看完整回答
反對 回復 2018-10-27
  • 2 回答
  • 0 關注
  • 1208 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號