-
hadoop安裝需要配置以下4個文件：
hadoop-env.sh
core-site.xml
mapred-site.xml
hadfs-ste.xml
查看全部 -
設置環境變量?
vim? /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
source? /etc/profile
查看全部 -
JobTracker
作業調度?
分配任務、監控任務執行進度
監控TaskTracker的狀態
TaskTrack
執行任務
匯報任務狀態
查看全部 -
HDFS 分布式文件系統
MapReduce 并行處理礦建
HIVE 將SQL語句轉化為Hadoop任務 ，降低使用門檻
HBASE 存儲結構化數據的分布式數據庫
（放棄了事務特性 最求更高的擴展）
zookeeper 監控Hadoop集群的狀態、管理配置、維護節點一次性
查看全部 -
MapReduce BigTable GFS
成本降低，能用PC機，就不用大型機和高端存儲。
硬件故障為常態，通過軟件保證可靠性。
簡化并行分布式計算，無需控制節點同步和數據交換。
查看全部 -
linux系統中設置JAVA環境變量
查看全部 -
linux系統中安裝JDK
apt-get install openjdk-7-jdk
查看全部 -
Hadoop生態圈
查看全部 -
Hadoop的組成
查看全部 -
Google大數據三大關鍵技術
MapReduce
BigTable
GFS
革命性變化：
成本降低，能用PC機，就不用大型機和高端存儲
軟件容錯、硬件故障視為常態，通過軟件保證可靠性
簡化并行分布式計算，無需控制節點同步和數據交換
Hadoop是一個模仿Google大數據技術的開源實現
查看全部 -
MAP查看全部
-
MapReduce的容錯機制
????????1.重復執行
????????2.推測執行
查看全部 -
MapReduce作業執行過程
查看全部 -
TaskTracker的角色
????? ?1.執行任務
????? ?2.匯報任務狀態
查看全部 -
JobTracker的角色
????1. 作業調度
????2.分配任務、監控任務執行進度
????3.監控TaskTracker的狀態
查看全部
舉報