-
MapReduce的容錯機制
重復執行（至多重復執行四次）
推測執行（若一方計算速度較慢，則新開一臺機器進行相同計算，兩者之間擇優選擇）
查看全部 -
JobTracker的角色
作業調度
分配任務、監控任務執行進度
監控TaskTracker的狀態
TaskTracker的角色
執行任務
向JobTracker匯報任務進度
MapReduce作業執行過程
查看全部 -
Hadoop MapReduce體系結構
查看全部 -
MapReduce的原理
1.一個大任務分成多個小的子任務（map），并行執行后，合并結果（reduce）
2.使用過程
查看全部 -
HDFS中寫入文件的流程
查看全部 -
HDFS讀取文件的流程
查看全部 -
二級NameNode
二級NameNode定期同步元數據映像文件和修改文件，NameNode發生故障時，備胎轉正
查看全部 -
心跳檢測
DataNode定期向NameNode發送心跳信息
心跳機制是定時發送一個自定義的結構體(心跳包)，讓對方知道自己還活著，以確保連接的有效性的機制。
查看全部 -
數據塊副本（數據容錯）
每個數據塊有三個副本，分布在兩個機架內的三個節點
其中有兩個副本在同一機架內
查看全部 -
hadoop fs -ls
hadoop fs -rm
hadoop fs -put
hadoop fs -mkdir
hadoop fs -get
查看全部 -
HDFS讀取文件的流程
查看全部 -
HDFS寫入文件的流程
查看全部 -
HDFS的文件被分成塊進行存儲
HDFS塊的默認大小是64MB
塊是文件存儲處理的邏輯單元?
查看全部 -
源碼
https://github.com/Y1ran/Hadoop-MapReduce
查看全部 -
mkdir examples //生成一個examples目錄
cd examples ? //進入examples文件路徑
mkdir word_count //生成word_count目錄
cd word_count ? //進入word_count目錄
mkdir input ? ? //用于存放提交的作業
mkdir word_count_class //用于存放編譯好的類
vim WordCount.java // 編寫好java程序后保存，資料下載里面有
javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d word_count_class/ WordCount.java ?//因為編譯WordCount.java過程需要引用hadoop封裝類，所以需要引用
jar -cvf wordcount.jar *.class ?//將當前目錄下的所有class都打包進wordcount.jar文件中
cd .. //返回上級word_count目錄
cd input?
vim file1 //編輯好file1 之后保存 ，file1里面為需要提交的作業
vim file2 // 類似
cd .. //返回到word_count目錄
hadoop fs -mkdir input_wordcount //創建一個hadoop 目錄，用于存放提交的作業
hadoop fs -put input/* input_wordcount //將本地的作業提交到input_wordcount目錄中
hadoop fs -ls input_wordcount //查看文件是否在該目錄下
hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount //提交jvm運行的jar，同時提交運行的主類，input..和out..分別用于保存提交的作業和運行結束的作業
....
....
....
等待程序運行， ok
查看全部
舉報