為何寫流程中是由DataNode1通知DataNode2，再由DataNode2通知DataNode3，而不是DataNode1同時通知DataNode2和DataNode3？
個人覺得后者對降低寫的latency更友好吧
二零醚
2018-01-23
3 回答
舉報
0/150
提交
取消
2018-01-27
?在向HDFS的寫操作中，不得不提一下“數據流管道”。數據流管道在Google實現他們的分布式文件系統(GFS)時就已引入，其目的是：在寫一份數據的多個副本時，可以充分利用集群中每一臺機器的帶寬，避免網絡瓶頸和高延時的連接，最小化推送所有數據的延時。? 其實這里我可能表述的不太準確，Client在保存數據的過程當中，將數據發送到第一個數據節點DateNode 1，然后在第一個DateNode節點在本地保存數據的同時，將數據推送到第二個數據節點DateNode 2，同理在第二個節點本地保存數據的同時，也會由第二個數據節點將數據同送給第三個數據節點DateNode 3。??這樣啊，每個節點都能承擔寫數據時的部分網絡流量，降低了客戶端發送多分數據時對網絡的沖擊
2018-02-04
寫的話也是按照最近的dataNODE來進行存儲吧
2018-01-26
客戶端要向HDFS寫數據，首先要跟namenode通信以確認可以寫文件并獲得接收文件block的datanode，然后，客戶端按順序將文件逐個block傳遞給相應datanode，并由接收到block的datanode負責向其他datanode復制block的副本，百度到的，老師的DataNode-2和DataNode-3應該是DataNode-1的副本