-
yarn application -kill 任務id 停止已經提交到集群的任務
查看全部 -
開啟yarn日志聚合功能，把散落的nodemanager日志統一收集管理，方便查看日志
查看全部 -
reduce階段只需要迭代計數，reduce輸入的參數是已經經過shuffer進行分組排序的，所以只需要累加求和即可
查看全部 -
map階段只需要按照規則把每一行數據進行切割即可
查看全部 -
namenode存儲的元數據：
1、文件與block的關系
2、block與datanode的關系
查看全部 -
如果一個文件默認大小不足一個block，仍然會占用一個block，但是實際占用的存儲空間是文件本身的大小，而不是block的大小
查看全部 -
secondarynamenode:定期把edits文件內容同步到fsimage（某一時刻的文件系統快照）中，默認情況下是一小時同步一次或者修改次數達到100萬次時同步一次
查看全部 -
hostname:查看主機名，后面跟上主機名可以設置主機名（重啟之后要重新設置，如要永久生效，則需要更改/etc/sysconfig/network）
關閉防火墻（centos6）：service iptables stop(可先用service iptables stop查看防火墻狀態，要是防火墻永久關閉:chkconfig iptables off)
ssh-keygen -t rsa 一路回車,然后把生成的id_rsa.pub的值復制到家目錄(~/)的.ssh/authorized_keys下面即可：cat ~/.ssh/id_rsa.pub >>?~/.ssh/authorized_keys
配置java環境變量：
export JAVA_HOME=/usr/local/jdk1.8.0_144 export PATH=.:$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
查看全部 -
大數據整個生態圈
查看全部 -
X版本：namenode只能有一個節點
X版本namenode只能有兩個節點
X版本namenode可以有兩個以上節點
查看全部 -
Yarn架構：主節點最多可以有兩個，從節點可以有N個
查看全部 -
mapreduce：map局部計算，reduce把map計算的結果匯總聚合
查看全部 -
hdfs分布式存儲架構：
namenode維護系統目錄，datanode負責存儲數據
查看全部 -
NameNode維護了兩份關系查看全部
-
DataNode介紹查看全部
舉報