我根據老師這個版本的Hadoop完成了Wordcount的MapRed程序,代碼在我的Github中:https://github.com/Y1ran/Hadoop-MapReduce,大家如果覺得跟不上老師講的,或者不容易實現的話可以參考一下
2018-06-19
HDFS(Hadoop Distributed File System,Hadoop 分布式文件系統)是 Hadoop 實現的一個分布式文件系統,可提供對應用程序數據的高吞吐量訪問,是 Hadoop 核心組件之一。HDFS 源自 Google 2003 年發表的的 GFS (Google File System)論文。
HDFS 將一個文件拆分成制定大小的多個數據塊(block),block 以多副本的方式存儲在多個機器上(即一組 DN 中),保證了容錯性和高可用性,保證了每個節點的負載均衡,提高了節點的利用率。
HDFS 將一個文件拆分成制定大小的多個數據塊(block),block 以多副本的方式存儲在多個機器上(即一組 DN 中),保證了容錯性和高可用性,保證了每個節點的負載均衡,提高了節點的利用率。
2018-06-11
在 Hadoop 誕生初期(Hadoop 1.x),當時 MapReduce 1.x 采用的是 master/slaves 架構,表現形式是一個 JobTracker 帶多個 TaskTracker。在 MapReduce 2.x 架構設計中,RM 和 NM 已經取代了 JT 和 TT。
2018-06-11
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
2018-06-06