-
執行過程查看全部
-
HDFS的特點 1.數據冗余，硬件容錯 2.流式的數據訪問，一旦寫入，無法修改 3.存儲大文件 適用性和局限性 -適合數據批量讀寫，吞吐量高； -不適合交互式應用，低延遲很難滿足 -適合一次寫入多次讀取，順序讀寫 -不支持多用戶并發寫相同文件查看全部
-
寫入文件查看全部
-
文件讀取查看全部
-
*datanode定期向namenode發送心跳消息 *二級namenode定期同步元數據映像文件和修改日志namenode發生故障時查看全部
-
MapReduce流程查看全部
-
數據管理策略 副本管理 每個數據塊3個副本,分布在兩個機架內的三個節點 心跳檢測 DateNode定期向NameNode發送心跳消息 二級NameNode 對元數據定期備份 同步文件和修改日志查看全部
-
設計架構 塊(block) 將文件切分成塊,默認大小64M 是文件處理的邏輯單元 NameNode 管理節點 存放元數據 文件與數據塊的映射表 數據塊與數據節點的映射表查看全部
-
卸載原生JDK(OPEN-JDK) | 安裝oracleJDK 查看安裝信息 rpm -qa | grep java rpm -qa | grep jdk 根據得到的信息進行卸載 rpm -e --nodeps XXXXXX 安裝JDK 通過XFTP將下載好的JDK上傳到/usr/java文件夾中 修改權限 chmod 777 jdk-7u79-linux-i586.rpm rpm -ivh jdk-7u79-linux-i586.rpm 配置環境變量 vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_79 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin :wq 保存退出 重啟機器使配置生效 reboot查看全部
-
心跳namenode 備份+狀態報告查看全部
-
在LINUX上安裝JDK以及配置環境變量，下載hadoop 并修改配置文件查看全部
-
把jar 文件提交給Hadoop 運行 hadoop jar WordCount.jar WordCount函數 input目錄 output目錄查看全部
-
HDFS使用：它提供了 shell 接口，可以進行命令行操作 hadoop namenode -format #格式化namenode hadoop fs -ls / #打印 / 目錄文件列表 hadoop fs -mkdir input #創建目錄 input hadoop fs -put hadoop-env.sh input/ #上傳文件 hadoop-env.sh 到 input 目錄下 hadoop fs -get input/abc.sh hadoop-envcomp.sh #從 input 目錄中下載文件 hadoop fs -cat input/hadoop-env.sh #查看文件 input/hadoop-env.sh hadoop dfsadmin -report #dfs報告查看全部
-
hive 降低使用門檻 hbase 實現對表的訪問 zookeeper 管理 監控查看全部
-
Hadoop = HDFS（分布式存儲） + MapReduce（分布式計算） 優勢： 1.高拓展；2.低成本；3.成熟的生態圈查看全部
舉報
0/150
提交
取消