亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

如何在hadoop中控制map的個數

如何在hadoop中控制map的個數

森欄 2019-01-01 05:00:49
如何在hadoop中控制map的個數
查看完整描述

1 回答

?
千巷貓影

TA貢獻1829條經驗 獲得超7個贊

但是通過這種方式設置map的個數,并不是每次都有效的。原因是mapred.map.tasks只是一個hadoop的參考數值,最終map的個數,還取決于其他的因素。
為了方便介紹,先來看幾個名詞:
block_size : hdfs的文件塊大小,默認為64M,可以通過參數dfs.block.size設置
total_size : 輸入文件整體的大小
input_file_num : 輸入文件的個數
(1)默認map個數
如果不進行任何設置,默認的map個數是和blcok_size相關的。
default_num = total_size / block_size;
(2)期望大小
可以通過參數
mapred.map.tasks來設置程序員期望的map個數,但是這個個數只有在大于default_num的時候,才會生效。
goal_num =mapred.map.tasks;
(3)設置處理的文件大小
可以通過mapred.min.split.size 設置每個task處理的文件大小,但是這個大小只有在大于
block_size的時候才會生效。
split_size = max(
mapred.min.split.size,
block_size);split_num = total_size / split_size;
(4)計算的map個數
compute_map_num = min(split_num, max(default_num, goal_num))
除了這些配置以外,mapreduce還要遵循一些原則。 mapreduce的每一個map處理的數據是不能跨越文件的,也就是說max_map_num <= input_file_num。 所以,最終的map個數應該為:
final_map_num = min(compute_map_num, input_file_num)
經過以上的分析,在設置map個數的時候,可以簡單的總結為以下幾點:
(1)如果想增加map個數,則設置mapred.map.tasks 為一個較大的值。
(2)如果想減小map個數,則設置mapred.min.split.size 為一個較大的值。



查看完整回答
反對 回復 2019-01-06
  • 1 回答
  • 0 關注
  • 898 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號