課程
/云計算&大數據
/大數據
/Hadoop基礎及演練
為什么？？？
2018-06-02
源自：Hadoop基礎及演練 2-1
正在回答
塊的大小設置原則：最小化尋址開小。
?塊越大尋址時間越短，
?傳輸一個由多個塊的組成的文件取決于磁盤傳輸速率。如尋址時間約為10ms，傳輸速率為100MB/S，為了使尋址時間僅占傳輸時間的1%，塊的大小設置約為100MB，默認大小是64MB，現在在實際身纏中都是128MB了，隨著新一代磁盤去東區傳輸速率的提升，塊的大小將會被設置的更大。
注意：塊的大小太大的話，一個map任務處理一個塊，那任務數就變少了，作業運行速度也就變慢了。
codxiao 提問者
叁金
舉報
與大數據密不可分的Hadoop框架，你值得學習
1 回答請問怎么在hdfs3中配置塊大小和副本數？
1 回答學習大數據
2 回答大數據與后端
1 回答為何hdfs不適合文件并發寫入？
1 回答你好，如何上傳大文件？
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網安備11010802030151號
購課補貼聯系客服咨詢優惠詳情
慕課網APP您的移動學習伙伴
掃描二維碼關注慕課網微信公眾號
2018-06-03
塊的大小設置原則：最小化尋址開小。
?塊越大尋址時間越短，
?傳輸一個由多個塊的組成的文件取決于磁盤傳輸速率。如尋址時間約為10ms，傳輸速率為100MB/S，為了使尋址時間僅占傳輸時間的1%，塊的大小設置約為100MB，默認大小是64MB，現在在實際身纏中都是128MB了，隨著新一代磁盤去東區傳輸速率的提升，塊的大小將會被設置的更大。
注意：塊的大小太大的話，一個map任務處理一個塊，那任務數就變少了，作業運行速度也就變慢了。