課程
/云計算&大數據
/大數據
/Hadoop基礎及演練
如果datanode1 在傳給datanode2 的過程中出現錯誤,這個是怎么解決的呢
2020-05-02
源自:Hadoop基礎及演練 2-2
正在回答
關閉管線。
將已經發送到管道中,但是還沒有確認的數據重新寫回到緩沖區,保證數據不會丟失。
所有的namenode重新分配一個版本號
重新選舉一個主datanode
計算所有datanode中最小的數據塊,重新分配
重建管線,重新寫入
宕掉的datanode恢復后由于版本號不同會被剔除掉。
寫完文件,namenode發現副本數量不夠,會在其他數據節點上再創建一個新的副本。
舉報
與大數據密不可分的Hadoop框架,你值得學習
1 回答關于HDFS的寫流程
3 回答讀流程的疑問
3 回答為何寫流程中是由DataNode1通知DataNode2,再由DataNode2通知DataNode3,而不是DataNode1同時通知DataNode2和DataNode3?
2 回答關于視頻中讀流程所舉的例子有些疑問
1 回答如果datanode掛掉了,讀取過程client還要向namenode請求嗎,同時client是要告訴namenode掛掉的block的狀態?
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網安備11010802030151號
購課補貼聯系客服咨詢優惠詳情
慕課網APP您的移動學習伙伴
掃描二維碼關注慕課網微信公眾號
2020-11-19
關閉管線。
將已經發送到管道中,但是還沒有確認的數據重新寫回到緩沖區,保證數據不會丟失。
所有的namenode重新分配一個版本號
重新選舉一個主datanode
計算所有datanode中最小的數據塊,重新分配
重建管線,重新寫入
宕掉的datanode恢復后由于版本號不同會被剔除掉。
寫完文件,namenode發現副本數量不夠,會在其他數據節點上再創建一個新的副本。