-
案例分析。
查看全部 -
一個block對應一個split，一個split對應一個map任務
查看全部 -
MapReduce原理分析
查看全部 -
namenode的總結
維護的兩份關系
查看全部 -
不足128mb的就是文件的實際大小，可以在dfs-default.xml中可以調整大小
數據的副本數量默認為3，可以在hdfs-site.xml文件中的dfs.replication修改
查看全部 -
兩個條件，距上次checkpoint一個小時，或者hdfs操作了一百萬次，兩個條件哪個先觸發就先 執行
HA（高可用）架構是沒有secondarynamenode的，有兩個namenode時，activited namenode負責和用戶交互，standby namenode負責文件的合并操作
查看全部 -
hdfs-defaulg.xml：保存namenode本地存儲文件的路徑
查看全部 -
namenode在本地磁盤保存的文件
查看全部 -
namenode的信息都在內存存放，本地磁盤也會保存一份信息，否則namenode格式化會丟
本地磁盤包含以下文件：見圖（seen_txid）
這些文件保存在tmp.dir/dfs/name/current/
fsimage：相當于快照、鏡像，保存的是某一時刻的元數據信息，與內存中的信息不同步，定時生成。
edits：記錄用戶的操作，不保存查詢
seen_txid：存儲的是edits文件后面的數字，當namenode重啟時，按照存儲的數字順序執行edits文件，這樣就得到了原信息。namenode格式化時，為0。如果對應的數字沒有文件，namenode就不會啟動了，日志文件會有記錄，為了保持數據的一致性，所以不會啟動，強制啟動就可能造成數據的丟失
version：版本信息，可以查看命名空間id，集群id
查看全部 -
主節點實現免密登陸從節點
ssh-copy-id -i hadoop101? ? ? ? ?(hadoop101是從節點)
查看全部 -
集群中配置免密碼登陸的時候，至少需要實現主節點可以免密碼登錄到其它所有節點
查看全部 -
高噠查看全部
-
啦啦查看全部
-
ha查看全部
-
namenode，secondarynamenode，datanode分別在集群上啟動，
namenode，secondarynamenode在主節點上啟動，datanode在從節點上啟動
查看全部
舉報