2 回答

TA貢獻1852條經驗 獲得超7個贊
Hadoop的優缺點介紹:
(一) 優點:
(一)高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴;
(二)高擴展性。Hadoop是在可用的計算機集簇間分配數據并完成計算任務的,這些集簇可以方便地擴展到數以千計的節點中。
(三)高效性。Hadoop能夠在節點之間動態地移動數據,并保證各個節點的動態平衡,因此處理速度非???。
(四)高容錯性。Hadoop能夠自動保存數據的多個副本,并且能夠自動將失敗的任務重新分配。
(二) 缺點:
(一)不適合低延遲數據訪問。
(二)無法高效存儲大量小文件。
(三)不支持多用戶寫入及任意修改文件。
了解更多開源相關,去LUPA社區看看吧。

TA貢獻1906條經驗 獲得超10個贊
一、HDFS缺點:
1、不能做到低延遲:由于hadoop針對高數據吞吐量做了優化,犧牲了獲取數據的延遲,所以對于低延遲數據訪問,不適合hadoop,對于低延遲的訪問需求,HBase是更好的選擇,
2、不適合大量的小文件存儲:由于namenode將文件系統的元數據存儲在內存中,因此該文件系統所能存儲的文件總數受限于namenode的內存容量,根據經驗,每個文件、目錄和數據塊的存儲信息大約占150字節。
3、不適合多用戶寫入文件,修改文件:Hadoop2.0雖然支持文件的追加功能,但是還是不建議對HDFS上的 文件進行修改,因為效率低。
4、對于上傳到HDFS上的文件,不支持修改文件,HDFS適合一次寫入,多次讀取的場景。
5、HDFS不支持多用戶同時執行寫操作,即同一時間,只能有一個用戶執行寫操作。
二、HDFS優點:
1、高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。
2、高擴展性。Hadoop是在可用的計算機集簇間分配數據并完成計算任務的,這些集簇可以方便地擴展到數以千計的節點中。
3、高效性。Hadoop能夠在節點之間動態地移動數據,并保證各個節點的動態平衡,因此處理速度非???。
4、高容錯性。Hadoop能夠自動保存數據的多個副本,并且能夠自動將失敗的任務重新分配。
5、低成本。與一體機、商用數據倉庫以及QlikView、Yonghong Z-Suite等數據集市相比,hadoop是開源的,項目的軟件成本因此會大大降低。
6、Hadoop帶有用Java語言編寫的框架,因此運行在 Linux 生產平臺上是非常理想的。Hadoop 上的應用程序也可以使用其他語言編寫,比如 C++。
一、 Hadoop 特點
1、支持超大文件:一般來說,HDFS存儲的文件可以支持TB和PB級別的數據。
2、檢測和快速應對硬件故障:在集群環境中,硬件故障是常見性問題。因為有上千臺服務器連在一起,故障率高,因此故障檢測和自動恢復hdfs文件系統的一個設計目標。
3、流式數據訪問:HDFS的數據處理規模比較大,應用一次需要大量的數據,同時這些應用一般都是批量處理,而不是用戶交互式處理,應用程序能以流的形式訪問數據庫。
4、簡化的一致性模型:對于外部使用用戶,不需要了解hadoop底層細節,比如文件的切塊,文件的存儲,節點的管理。
5、高容錯性:數據自動保存多個副本,副本丟失后自動恢復。可構建在廉價機上,實現線性(橫向)擴展,當集群增加新節點之后,namenode也可以感知,將數據分發和備份到相應的節點上。
6、商用硬件:Hadoop并不需要運行在昂貴且高可靠的硬件上,它是設計運行在商用硬件的集群上的,因此至少對于龐大的集群來說,節點故障的幾率還是非常高的。HDFS遇到上述故障時,被設計成能夠繼續運行且不讓用戶察覺到明顯的中斷。
- 2 回答
- 0 關注
- 1334 瀏覽
添加回答
舉報