-
Google大數據技術：MapReduce、bigtable、GFS。
查看全部 -
MapReduce的容錯機制
1、重復執行（默認執行4次，4次后放棄）
2、推測執行
查看全部 -
TaskTracker的角色
1、執行任務
2、向JobTracker匯報任務狀態
查看全部 -
JobTracker的角色
1、作業調度2、分配任務，監控任務執行進度
3、監控TaskTracker的狀態
查看全部 -
HDFS的特點
1、數據冗余，硬件容錯
2、流式的數據訪問（一次寫入多次讀取，且寫入的數據無法修改）
3、適合存儲大文件
查看全部 -
DATaNode數據塊：
每個數據塊3個副本，分布在兩個機架內的三個節點
查看全部 -
NameNode是管理節點，存放文件元數據
1、文件與數據塊的映射表
2、數據塊與數據節點的映射表
查看全部 -
HDFS的文件被分成塊進行存儲
HDFS塊默認大小64MB
塊是文件存儲處理的邏輯單元
查看全部 -
Hadoop的組成：
? ? 包括兩個核心組成：
? ? ? ? HDFS：分布式文件系統，存儲海量的數據
? ? ? ? MapReduce：并行處理框架，實現任務分解和調度
查看全部 -
Google大數據技術
MapReduce、BigTable、GFS
查看全部 -
安裝后配置hadoop文件
一、設置java目錄和hadoop目錄：
vi /etc/profile
JAVA_HOME=/etc/usr/java/jdk-1.8.1
JAR_HOME=$JAVA_HOME/jre
HADOOP_HOME=/etc/usr/hadoop-1.2.1
PATH=$JAVA_HOME/bin:$JAR_HOME/bin:$HADOOP_HOME/bin:$PAHT
二、修改四個配置文件
1、core-site.xml（haddop.temp.dir、dfs.name.dir、fs.default.name）
<configuration> ? ?<property> ? ? ? ?<name>hadoop.tmp.dir</name> ? ? ? ?<value>/hadoop</value> ? ?</property> ? ?<property> ? ? ? ?<name>dfs.name.dir</name> ? ? ? ?<value>/hadoop/name</value> ? ?</property> ? ?<property> ? ? ? ?<name>fs.default.name</name> ? ? ? ?<value>hdfs://imooc:9000</value> ? ?</property> </configuration>
2、修改mapred-site.xml（mapred.job.tracker）
<configuration> ? ?<property> ? ? ? ?<name>mapred.job.tracker</name> ? ? ? ?<value>imooc:9001</value> ? ?</property> </configuration>
3、修改hsfs-site.xml，設置dfs.data.dir
<property> ? ?<name>dfs.data.dir</name> ? ?<value>/hadoop/data</value> </property>
4、修改hadoop的環境變量文件hadoop-env.sh
JAVA_HOME=/etc/usr/java/jkd-1.8.1
三、對hadoop進行格式化已經啟動：
hadoop namenode -format
start-all.sh
jps=》查看hadoop是否安裝成功
查看全部 -
SSH 工具
云上安裝LINUX
putty工具已完成
查看全部 -
Hadoop的優勢：
高擴展
低成本
成熟的生態圈
查看全部 -
Hadoop的用處
查看全部 -
Hadoop的組成
查看全部
舉報