3 回答

TA貢獻1843條經驗 獲得超7個贊
HDFS是GFS的一種實現,他的完整名字是分布式文件系統,類似于FAT32,NTFS,是一種文件格式,是底層的,Hadoop HDFS為HBase提供了高可靠性的底層存儲支持。
HBase是Google Bigtable的開源實現,類似Google Bigtable利用GFS作為其文件存儲系統,HBase利用Hadoop HDFS作為其文件存儲系統。
向左轉|向右轉
擴展資料:
Hadoop 中各模塊的作用:
1、Hadoop HDFS為HBase提供了高可靠性的底層存儲支持。
2、Hadoop MapReduce為HBase提供了高性能的計算能力。
3、Zookeeper為HBase提供了穩定服務和failover機制。
4、Pig和Hive還為HBase提供了高層語言支持,使得在HBase上進行數據統計處理變得非常簡單。
5、Sqoop則為HBase提供了方便的RDBMS(關系型數據庫)數據導入功能,使得傳統數據庫數據向HBase中遷移變得非常方便。

TA貢獻1810條經驗 獲得超4個贊
HDFS是GFS的一種實現,他的完整名字是分布式文件系統,類似于FAT32,NTFS,是一種文件格式,是底層的,Hadoop HDFS為HBase提供了高可靠性的底層存儲支持。
HBase是Google Bigtable的開源實現,類似Google Bigtable利用GFS作為其文件存儲系統,HBase利用Hadoop HDFS作為其文件存儲系統。
向左轉|向右轉
擴展資料:
異常處理
1,可靠性
HDFS的主要目標就是在存在故障的情況下也能可靠地存儲數據。三個最常見的故障是名字節點故障,數據節點故障和網絡斷開。
2,重新復制
一個數據節點周期性發送一個心跳包到名字節點。網絡斷開會造成一組數據節點子集和名字節點失去聯系。名字節點根據缺失的心跳信息判斷故障情況。
名字節點將這些數據節點標記為死亡狀態,不再將新的IO請求轉發到這些數據節點上,這些數據節點上的數據將對HDFS不再可用,可能會導致一些塊的復制因子降低到指定的值。
名字節點檢查所有的需要復制的塊,并開始復制他們到其他的數據節點上。重新復制在有些情況下是不可或缺的,例如:數據節點失效,副本損壞,數據節點磁盤損壞或者文件的復制因子增大。
3,數據正確性
從數據節點上取一個文件塊有可能是壞塊,壞塊的出現可能是存儲設備錯誤,網絡錯誤或者軟件的漏洞。HDFS客戶端實現了HDFS文件內容的校驗。
當一個客戶端創建一個HDFS文件時,它會為每一個文件塊計算一個校驗碼并將校驗碼存儲在同一個HDFS命名空間下一個單獨的隱藏文件中。
當客戶端訪問這個文件時,它根據對應的校驗文件來驗證從數據節點接收到的數據。如果校驗失敗,客戶端可以選擇從其他擁有該塊副本的數據節點獲取這個塊。
4,元數據失效
FsImage和Editlog是HDFS的核心數據結構。這些文件的損壞會導致整個集群的失效。因此,名字節點可以配置成支持多個FsImage和EditLog的副本。任何FsImage和EditLog的更新都會同步到每一份副本中。
同步更新多個EditLog副本會降低名字節點的命名空間事務交易速率。但是這種降低是可以接受的,因為HDFS程序中產生大量的數據請求,而不是元數據請求。名字節點重新啟動時,選擇最新一致的FsImage和EditLog。
名字節點對于一個HDFS集群是單點失效的。假如名字節點失效,就需要人工的干預。還不支持自動重啟和到其它名字節點的切換。

TA貢獻1858條經驗 獲得超8個贊
他們的關系是:hbase是一個內存數據庫,而hdfs是一個存儲空間;是物品和房子的關系。
hdfs只是一個存儲空間,他的完整名字是分布式文件系統。從名字可知他的作用了。
hbase是一個內存數據庫,簡單點說hbase把表啊什么的存在hdfs上。
Hbase與HDFS的性質和屬性。
1、Hbase是Hadoop database,即Hadoop數據庫。它是一個適合于非結構化數據存儲的數據庫,HBase基于列的而不是基于行的模式。
HBase是Google Bigtable的開源實現,類似Google Bigtable利用GFS作為其文件存儲系統,HBase利用Hadoop HDFS作為其文件存儲系統;Google運行MapReduce來處理Bigtable中的海量數據,HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據。
2、HDFS是GFS的一種實現,他的完整名字是分布式文件系統,類似于FAT32,NTFS,是一種文件格式,是底層的。
Hive與Hbase的數據一般都存儲在HDFS上。Hadoop HDFS為他們提供了高可靠性的底層存儲支持。
- 3 回答
- 0 關注
- 1306 瀏覽
添加回答
舉報