-
免密碼登陸配置命令：
sssh-copy-id -i hostname
查看全部 -
需修改腳本列表
start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-yarn.sh
查看全部 -
需修改腳本列表：
start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-yarn.sh
查看全部 -
需修改腳本列表：
start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-yarn.sh
查看全部 -
配置文件列表：
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
hadoop-env.xml
????-- JAVA_HOME
????-- HADOOP_LOG_DIR
查看全部 -
??
??java序列化hadoop序列化，主要是將序列號 內存讀到磁盤? 反序列化：磁盤讀到內存中
查看全部 -
同過命令直接將結束haddoop任務結束查看全部 -
如圖查看全部 -
多文件的效果查看全部 -
?
map和reduce執行流程查看全部 -
分布式存儲包括map和reduce操作查看全部 -
?文件創建時間，什么啥時候進行的修改等操作。
fsimage: 文件系統鏡像 ， 源數據鏡像文件，某一時刻Namenode內存中的源數據信息，也可理解為快照,是由edit內容信息合并完成，合并衛checkpoint
seondaryNamenode 觸發1個小時? 100萬次操作
edits: 存儲用戶的操作記錄，包括修改，不包括查詢
seed_txid: 默認為0， 存儲edits 后面的序號，倒序查找，方便恢復
查看全部 -
常見操作vi 創建文件并編輯，
這里用到了前綴：bin/hdfs dfs -各種命令
查看全部 -
shell介紹查看全部 -
一臺計算機一般存儲能力是512G或1t，但數據量擴大之后，就需要將數據放到不同機器上，然而這樣導致管理麻煩。所以就需要系統去管理這樣的多臺機器上的文件hdfs誕生。
通用性：雖然是訪問不同機器，但感覺像是訪問自己的主機一臺機子，和容錯性，不適合小文件
查看全部 -
多機器多個個用戶通過網絡，分享和存儲文件查看全部 -
注意要靠環境變量profile ，只是將安裝包考過去。其他沒有可拷過去
tar -zxvf 解壓
查看全部 -
scp -rp /data/soft/jdk1.8/ hadloop101:/data/soft/
將前面文件拷貝到后面的目錄
查看全部
舉報