-
HDFS設計架構： ? ? ? ? ? ??
塊:文件以“塊”進行存儲，HDFS默認塊大小為64M ? ? ? ? ? ??
namenode：是管理節點，存放文件元數據，包括文件與數據塊的映射表、數據塊與數據節點的映射表 ? ? ? ? ? ??
datenode：工作節點，真正存儲數據塊 最終體系結構：由block、namenode、datanode、secondarynamenode、client組成
查看全部 -
一.安裝jdk
二.配置hadoop的配置文件
? ?1.mapred-site.xml 配置文件
?mapred.job.tracker mapred 訪問路徑
? ? 2.core-site.xml 配置文件 需要修改的
hadoop.tmp.dir ?臨時工作目錄
dfs.name.dir 原數據目錄
fs.default.name 文件系統地址和端口號
? 3.hdfs-site.xml?
dfs.data.dir 存放文件塊的一個目錄
4.hadoop-env.sh
配置java_home的安裝路徑
三.格式化format
hadoop namenode -format
四.啟動hadoop
start-satrt-all.sh
五.用命令jps查看進程
JpbTracker
Jps
SecondaryNameNode
NameNode
DataNode
TaskTracker
查看全部 -
下載軟件地址： wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
配置4個文件(三個xml文件，一個.sh文件)
mapred-site.xml
core-site.xml
hadoop-env.sh
hdfs-site.xml
hadoop安裝及配置：
?1.下載hdoop按照包并進行解壓?
2.配置hdoop-env.sh文件，目的是配置jdk，并在profile配置haddoop的安裝位置?
3.配置core-site.xml文件：hdoop的核心文件，里面有關于hdoop的節點端口與主機端口?
4.配置hdfs-site.xml文件：hdoop的文件存儲的基本信息與目錄
?5.配置mapred-site.xml文件：hadoop的計算節點的端口號
查看全部 -
設置環境變量?
vim? /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
查看全部 -
zookeeper（動物管理員）
?管理Hadoop節點狀態和Hadoop的配置，維護數據節點的一致性
查看全部 -
hbase區別HDFS
查看全部 -
Hadoop可以用來做什么？
查看全部 -
Hadoop的組成
查看全部 -
hadoop是什么
開源的 分布式存儲+分布式計算平臺
查看全部 -
MapReduce的容錯機制
重復執行：執行出錯之后會重復執行四次
推測執行，判斷taskTracker的運行狀態，適當進行替換和舍棄
查看全部 -
MapReduce的作業執行過程
查看全部 -
JobTracker的角色
作業調度
分配任務、監控任務的執行進度
監控taskTracker狀態
TaskTracker的角色
執行任務
向JobTracker報告進度
查看全部 -
MapReduce的核心思想就是分而治之，將一個大人物分成多個小任務，并行執行之后，在合并結果
查看全部 -
HDFS的存取命令
存：hadoop?fs -put?a.txt?input
?。篐adoop?fs -get input/a.txt
查看全部 -
HDSF特點
數據肉欲，硬件容錯，做了多個備份
流式訪問數據，無法對數據進行更改，適合一次寫入，多次讀取
存儲大文件，不適合大量存儲小文件，以為NameNode比較占空間，小文件不劃算
適用性和局限性
適合數據的批量讀寫，吞吐量高，一次寫入，多次讀取
不適合交互式應用，低延遲很難滿足，不支持并發寫入相同文件
查看全部
舉報