-
hadoop生態圈
查看全部 -
python程序使用MapReduce統計單詞數可供將來使用參考
查看全部 -
python操作HDFS代碼可參考，具體使用時需要看hdfs3的API文檔
查看全部 -
常用HDFS的Shell命令：
類似Linux系統：ls、cat、mkdir、rm、chmod、chown等
HDFS文件交互：copyFromLocal、copyToLocal、get、put
查看全部 -
IPython 編輯器
Hadoop的map，reduce方法
查看全部 -
MapReduce編程模型 就是分而治之的方法論
Hadoop1.0 與 Hadoop2.0的區別
查看全部 -
HDFS SHELL?
查看全部 -
數據塊的大小設置為多少合適？為什么？
NameNode有哪些容錯的機制，如果掛了，該怎么辦？
查看全部 -
grep命令查看全部
-
截圖....
查看全部 -
hadoop數據塊的大小一般設置為128M，如果數據塊設置的太小，一般的文件也會被分割為多個數據塊，在訪問的時候需要查找多個數據塊的地址，這樣的效率很低，而且如果數據塊設置太小的話，會消耗更多的NameNode的內存；而如果數據塊設置過大的話，對于并行的支持不是太好，而且會涉及系統的其他問題，比如系統重啟時，需要從新加載數據，數據塊越大，耗費的時間越長。
NameNode出現錯誤怎么辦？其容錯機制
2. NameNode容錯機制，目前的hadoop2可以為之為HA（高可用）集群，集群里面有兩個NameNode的節點，一臺為主節點，一臺為從節點，兩者的數據時刻保持一致，當主節點出現問題時，從節點可以自動切換，用戶基本感知不到，這樣就避免了NameNode的單點問題。
查看全部 -
HDFS讀流程
查看全部 -
HDFS的寫流程
查看全部 -
?HDFS寫流程
通過客戶端Client寫入數據Data的流程：
（1）Client向NameNode發起寫入請求；
（2）NameNode查找自身存儲的關于三個DataNode的信息，并反饋給Client；
（3）Client根據反饋信息，將Data分為兩個數據塊1和2；
（4）Client根據反饋信息將數據塊1傳給DataNode1，DataNode1將數據塊1傳給DataNode2，DataNode2將數據塊1傳給 DataNode3，進行保存；并將信息反饋給NameNode，之后namenode進行數據塊2的依次分配。
（5）待所有流程都結束后，datanode會向namenode提交信息反饋，會client停止與namenode的寫操作。
查看全部 -
HDFS的優點
（1）適合大文件存儲，支持TB、PB級的數據存儲，并有副本策略；
（2）可以構建在廉價的機器上，并有一定的容錯和恢復機制；
注：Hadoop2的容錯機制，Hadoop可以配置成HA（高可用集群），包含兩個NameNode節點，其中一個處于“active”狀態（主節點），另一個處于“standby”狀態（備用節點）
查看全部
舉報