這老師的HBase的原理講的非常好,就是有一點,老師在將實現原來的時候,很多關鍵點PPT上都沒有,只有一個類似大綱的標題,然后屏幕就停住了,老師在口述,只能空間想象了
2018-07-26
RegionServer 組成部分:
- Region:存儲用戶數據的最小單元,一個RegionServer中包含多個Region
- Store:對應表的列簇,一個Region中包含多個Store
- MemStore:是一個內存式的數據結構,一個Store中包含一個MemStore
- StoreFile:MemStore滿了之后就會把數據存儲到StoreFile
- HFile:多個StoreFile會被封裝成HFile,HFile最終持久化到HDFS中
- HLog:一個RegionServer包含一個HLog,用于實現預寫日志,保證HBase的高可用
- Region:存儲用戶數據的最小單元,一個RegionServer中包含多個Region
- Store:對應表的列簇,一個Region中包含多個Store
- MemStore:是一個內存式的數據結構,一個Store中包含一個MemStore
- StoreFile:MemStore滿了之后就會把數據存儲到StoreFile
- HFile:多個StoreFile會被封裝成HFile,HFile最終持久化到HDFS中
- HLog:一個RegionServer包含一個HLog,用于實現預寫日志,保證HBase的高可用
2018-06-19
LSM-tree主要目標是快速地建立索引。B-tree是建立索引的通用技術,但是,在大并發插入數據的情況下,B-tree需要大量的磁盤隨機IO,很顯然,大量的磁盤隨機IO會嚴重影響索引建立的速度。特別地,對于那些索引數據大的情況(例如,兩個列的聯合索引),插入速度是對性能影響的重要指標,而讀取相對來說就比較少。LSM-tree通過磁盤的順序寫,來達到最優的寫性能,因為這會大大降低磁盤的尋道次數,一次磁盤IO可以寫入多個索引塊。
2018-06-19
在經典的 RDBMS 中,我們設計表結構模型時,只需要確定有多少個列即可,然后就可以對這個表進行數據的操作。而對于 HBase 來說,設計表結構模型時不需要確定列,只需要確定列簇(Cloumn Family)即可,列的數量根據列簇里面的數據進行動態伸縮,為空的列并不占用存儲空間。
2018-06-19