-
關鍵點 :
查看全部 -
本次課程目標
查看全部 -
Hadoop大數據平臺架構與實戰
?????????????課程大綱
查看全部 -
MapReduce 即分而治之，一個大任務分成多個小的子任務（map），并行執行后，合并結果（reduce）。
查看全部 -
配置4個文件(三個xml文件，一個.sh文件)
mapred-site.xml
core-site.xml
hadoop-env.sh
hdfs-site.xml
查看全部 -
jdk查看全部
-
Linux查看全部
-
MapReduce容錯機制
1、重復執行（有次數限制）
2、推測執行：在整個任務執行過程中，整個map端執行完畢后，reduce端開始執行。假如有一個節點計算非常緩慢（可能出現了問題），這個節點還繼續進行計算，在另外找一個TaskTracker做同樣的事情，哪個先算晚，就將另一個終止。不會因為某個TaskTracker出現問題，導致整個任務執行慢
查看全部 -
mapreduce可進行多輪
查看全部 -
MapReduce作業執行過程查看全部
-
TaskTracker的角色查看全部
-
JobTracker的角色查看全部
-
Job&Task：一個Job拆分為多個Task，Task分為MapTask和ReduceTask
JobTracker：將Job拆分為多個Map任務和Reduce任務，分發給TaskTracker來做
TaskTracker：MapTaskTracker、ReduceTaskTracker
查看全部 -
100GB的網站訪問日志文件，找出訪問次數最多的IP地址
1、將日志切分
2、統計每個日志中每個ip出現的次數
3、最后按照ip進行統計,將ip相同的放在一個reduce中
關鍵是進行交換
查看全部 -
撲克牌統計缺少哪張牌
1、將牌隨機分為5份
2、統計每種牌，每個花色出現多少次（如：split0中紅心A出現20次）
3、再次統計，將每份牌的中不同花色，不同牌，進行統計
4、篩選結果
查看全部
舉報
0/150
提交
取消