-
map--reduce
v
查看全部 -
本地優化：實現Combiner類與Reducer類
查看全部 -
block在Hadoop 1.x與在Hadoop 2.x中的默認大小，以及可以進行手動設置
查看全部 -
MapReduce的四個階段
查看全部 -
數據處理過程
查看全部 -
itemCF 實現過程
查看全部 -
根據用戶行為列表計算用戶對商品的權重
查看全部 -
推薦算法 .
基于物品的推薦算法 .基于用戶的推薦算法 .基于內容的推薦算法
相似度種類
查看全部 -
矩陣相乘，每一步都是一個mapreduce 作業
查看全部 -
hadoop分布式緩存的背景
查看全部 -
分片-》map-》shuffle-》reduce
一、本地優化--combine
Combine的邏輯和reduce邏輯一致。都是按照key值合并數據，故可以認為combine是對本地數據的reduce操作。?
二、一個mapreduce作業中，以三者的數量總是相等的。?
1）partitioner的數量
?2）reduce任務的數量?
3）最終輸出文件
三、一個reducer中，所有數據都會被按照key值升序排，如果part輸出文件中含有key值，那么文件一定是有序的
序?
四、reducer數量，最大值為72
?調整方式有二：
?1）參數調整：mapred.reduce.tasks
?2)Java代碼中調用方法設置：job.setNumReduceTasks(int n)
查看全部 -
節約空間，合理利用資源，hdfs適用于大文件的存儲。
查看全部 -
input-》split-》map-》shuffle-》reduce-》output
查看全部 -
content CF步驟
查看全部 -
基于用戶的推薦算法
查看全部
舉報
0/150
提交
取消