我目前正在從事一項工作，我將地圖任務的數量固定為20，但數量有所增加。我也將reduce任務設置為零，但是我仍然得到一個非零的數字。MapReduce作業完成的總時間也不會顯示。有人可以告訴我我在做什么錯。我正在使用此命令hadoop jar Test_Parallel_for.jar Test_Parallel_for Matrix/test4.txt Result 3 \ -D mapred.map.tasks = 20 \ -D mapred.reduce.tasks =0輸出：11/07/30 19:48:56 INFO mapred.JobClient: Job complete: job_201107291018_016411/07/30 19:48:56 INFO mapred.JobClient: Counters: 1811/07/30 19:48:56 INFO mapred.JobClient: Job Counters 11/07/30 19:48:56 INFO mapred.JobClient: Launched reduce tasks=1311/07/30 19:48:56 INFO mapred.JobClient: Rack-local map tasks=1211/07/30 19:48:56 INFO mapred.JobClient: Launched map tasks=2411/07/30 19:48:56 INFO mapred.JobClient: Data-local map tasks=1211/07/30 19:48:56 INFO mapred.JobClient: FileSystemCounters11/07/30 19:48:56 INFO mapred.JobClient: FILE_BYTES_READ=402079263611/07/30 19:48:56 INFO mapred.JobClient: HDFS_BYTES_READ=155653468011/07/30 19:48:56 INFO mapred.JobClient: FILE_BYTES_WRITTEN=602669905811/07/30 19:48:56 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=192889394211/07/30 19:48:56 INFO mapred.JobClient: Map-Reduce Framework11/07/30 19:48:56 INFO mapred.JobClient: Reduce input groups=4000000011/07/30 19:48:56 INFO mapred.JobClient: Combine output records=011/07/30 19:48:56 INFO mapred.JobClient: Map input records=4000000011/07/30 19:48:56 INFO mapred.JobClient: Reduce shuffle bytes=197416226911/07/30 19:48:56 INFO mapred.JobClient: Reduce output records=4000000011/07/30 19:48:56 INFO mapred.JobClient: Spilled Records=12000000011/07/30 19:48:56 INFO mapred.JobClient: Map output bytes=192889394211/07/30 19:48:56 INFO mapred.JobClient: Combine input records=011/07/30 19:48:56 INFO mapred.JobClient: Map output records=4000000011/07/30 19:48:56 INFO mapred.JobClient: Reduce input records=40000000[hcrc1425n30]s0907855:
3 回答
收到一只叮咚
TA貢獻1821條經驗 獲得超5個贊
舉例說明：
假設您的hadoop輸入文件大小為2 GB，并且將塊大小設置為64 MB，因此將設置運行32個Mappers任務，而每個映射器將處理64 MB塊以完成Hadoop作業的Mapper作業。
==>設置要運行的映射器的數量完全取決于1）文件大小和2）塊大小
假設您在4個集群大小上運行hadoop：假設您將conf文件中的mapred.map.tasks和mapred.reduce.tasks參數設置為節點，如下所示：
Node 1: mapred.map.tasks = 4 and mapred.reduce.tasks = 4
Node 2: mapred.map.tasks = 2 and mapred.reduce.tasks = 2
Node 3: mapred.map.tasks = 4 and mapred.reduce.tasks = 4
Node 4: mapred.map.tasks = 1 and mapred.reduce.tasks = 1
假設您為該集群中的4個節點設置了上述參數。如果您注意到節點2分別只設置了2和2，因為節點2的處理資源可能較少，例如（2個處理器，2個內核），而節點4甚至分別設置為分別低到1和1，可能是由于處理資源該節點上有1個處理器，2個內核，因此不能運行超過1個mapper和1個reducer任務。
因此，當您運行作業時，將節點1，節點2，節點3，節點4配置為運行最大作業。在作業需要完成的42個映射器任務中，總共（4 + 2 + 4 + 1）11個映射器任務同時進行。每個節點完成其映射任務后，它將處理42個映射器任務中剩余的其余映射器任務。
現在開始使用reducers，因為將mapred.reduce.tasks設置為0，所以我們僅將mapper輸出輸出到42個文件中（每個mapper任務1個文件），而沒有reducer輸出。
添加回答
舉報
0/150
提交
取消