最贊回答 / 業余奶茶品鑒師
關閉管線。將已經發送到管道中,但是還沒有確認的數據重新寫回到緩沖區,保證數據不會丟失。所有的namenode重新分配一個版本號重新選舉一個主datanode計算所有datanode中最小的數據塊,重新分配重建管線,重新寫入宕掉的datanode恢復后由于版本號不同會被剔除掉。寫完文件,namenode發現副本數量不夠,會在其他數據節點上再創建一個新的副本。
2020-05-02
某知名氣象公司大數據中心研發工程師,主攻大數據方向,熟悉Java,Hadoop,Spark技術,Python的忠實愛好者!對于以Hadoop生態圈為基礎的大數據應用開發有比較多的經驗。
2020-03-20
某知名氣象公司大數據中心研發工程師,主攻大數據方向,熟悉Java,Hadoop,Spark技術,Python的忠實愛好者!對于以Hadoop生態圈為基礎的大數據應用開發有比較多的經驗。
2020-03-18