課程
/云計算&大數據
/大數據
/認識Hadoop--基礎篇
在mac上怎么配置環境呢?
2016-12-15
源自:認識Hadoop--基礎篇 2-4
正在回答
直接 homebrew 安裝 ,安裝 Scala 命令: brew install scala,sbt 命令: brew install sbt, 如果安裝 sbt 遇到promis denied ,cd 到error中的目錄(應該是etc),在顯示簡介中打開 everyone 權限。
好了~吱一聲
獲取Hadoop具體的地址自己百度吧。我下載的是1.0.4的stable版本。下載完之后解壓縮,我這里放置的目錄是/users/Billy/Hadoop。配置mac os 自身環境這個主要是配置ssh環境。先在terminal里面輸入ssh localhost會有錯誤提示信息,表示當前用戶沒有權限。這個多半是系統為安全考慮,默認設置的。更改設置如下:進入system preference --> sharing --> 勾選remote login,并設置allow access for all users。再次輸入“ssh localhost",再輸入密碼并確認之后,可以看到ssh成功。不過這里面還有一個麻煩,就是每次都會要求輸入用戶密碼?!禜adoop實戰》提供了一種免登陸的方法。首先,輸入ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsassh-keygen表示生成秘鑰;-t表示秘鑰類型;-P用于提供密語;-f指定生成的秘鑰文件。這個命令在”~/.ssh/“文件夾下創建兩個文件id_dsa和id_dsa.pub,是ssh的一對兒私鑰和公鑰。接下來,將公鑰追加到授權的key中去,輸入:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys設置環境變量在實際啟動Hadoop之前,有三個文件需要進行配置。但在這之前,我們需要設置一下幾個類似Windows的環境變量,方便以后在命令行敲命令。export HADOOP_HOME=/users/billy/hadoopexport PATH=$PATH:$HADOOP_HOME/bin配置hadoop-env.sh在Hadoop->conf目錄下,找到hadoop-env.sh,打開編輯進行如下設置:export JAVA_HOME=/library/Java/Home(去掉注釋)export HADOOP_HEAPSIZE=2000(去掉注釋)export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"(去掉注釋) 注意第三個配置在OS X上最好進行配置,否則會報“Unable to load realm info from SCDynamicStore”。配置core-site.xml<configuration> ?<property> ? ?<name>hadoop.tmp.dir</name> ? ?<value>/users/billy/hadoop/tmp/hadoop-${user.name}</value> ? ?<description>A base for other temporary directories.</description> ?</property> ?<property> ? ?<name>fs.default.name</name> ? ?<value>hdfs://localhost:8020</value> ?</property></configuration> 配置hdfs-site.xml<configuration> ? ?<property> ? ? ? ?<name>dfs.replication</name> ? ? ? ?<value>1</value> ? ?</property></configuration> 配置mapred-site.xml<configuration> ? ?<property> ? ? ? ?<name>mapred.job.tracker</name> ? ? ? ?<value>localhost:8021</value> ? ?</property> ? ?<property> ? ? ? ?<name>mapred.tasktracker.map.tasks.maximum</name> ? ? ? ?<value>2</value> ? ?</property> ? ?<property> ? ? ? ?<name>mapred.tasktracker.reduce.tasks.maximum</name> ? ? ? ?<value>2</value> ? ?</property></configuration>安裝HDFS經過以上的配置,就可以進行HDFS的安裝了。$HADOOP_HOME/bin/hadoop name node -format如果順利的話,會得到類似如下的輸出: BillymatoMacBook-Air:hadoop Billy$ $HADOOP_HOME/bin/hadoop namenode -formatWarning: $HADOOP_HOME is deprecated.以上安裝完成。
舉報
Hadoop入門視頻教程,大數據人才的入門首選
1 回答hadoop環境配置
2 回答jdk環境變量配置
3 回答設置環境變量時無法輸入export...
2 回答這里的jre的環境變量可以直接在電腦屬性里的環境變量里改么?
1 回答設置環境變量時無法插入文本
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網安備11010802030151號
購課補貼聯系客服咨詢優惠詳情
慕課網APP您的移動學習伙伴
掃描二維碼關注慕課網微信公眾號
2016-12-15
直接 homebrew 安裝 ,安裝 Scala 命令: brew install scala,sbt 命令: brew install sbt, 如果安裝 sbt 遇到promis denied ,cd 到error中的目錄(應該是etc),在顯示簡介中打開 everyone 權限。
2016-12-15
好了~吱一聲
2016-12-15
獲取Hadoop
具體的地址自己百度吧。我下載的是1.0.4的stable版本。
下載完之后解壓縮,我這里放置的目錄是/users/Billy/Hadoop。
配置mac os 自身環境
這個主要是配置ssh環境。先在terminal里面輸入
ssh localhost
會有錯誤提示信息,表示當前用戶沒有權限。這個多半是系統為安全考慮,默認設置的。更改設置如下:進入system preference --> sharing --> 勾選remote login,并設置allow access for all users。再次輸入“ssh localhost",再輸入密碼并確認之后,可以看到ssh成功。
不過這里面還有一個麻煩,就是每次都會要求輸入用戶密碼?!禜adoop實戰》提供了一種免登陸的方法。首先,輸入
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen表示生成秘鑰;-t表示秘鑰類型;-P用于提供密語;-f指定生成的秘鑰文件。這個命令在”~/.ssh/“文件夾下創建兩個文件id_dsa和id_dsa.pub,是ssh的一對兒私鑰和公鑰。接下來,將公鑰追加到授權的key中去,輸入:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
設置環境變量
在實際啟動Hadoop之前,有三個文件需要進行配置。
但在這之前,我們需要設置一下幾個類似Windows的環境變量,方便以后在命令行敲命令。
export HADOOP_HOME=/users/billy/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
配置hadoop-env.sh
在Hadoop->conf目錄下,找到hadoop-env.sh,打開編輯進行如下設置:
export JAVA_HOME=/library/Java/Home(去掉注釋)
export HADOOP_HEAPSIZE=2000(去掉注釋)
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"(去掉注釋)
注意第三個配置在OS X上最好進行配置,否則會報“Unable to load realm info from SCDynamicStore”。
配置core-site.xml
<configuration>
?<property>
? ?<name>hadoop.tmp.dir</name>
? ?<value>/users/billy/hadoop/tmp/hadoop-${user.name}</value>
? ?<description>A base for other temporary directories.</description>
?</property>
?<property>
? ?<name>fs.default.name</name>
? ?<value>hdfs://localhost:8020</value>
?</property>
</configuration>
配置hdfs-site.xml
<configuration>
? ?<property>
? ? ? ?<name>dfs.replication</name>
? ? ? ?<value>1</value>
? ?</property>
</configuration>
配置mapred-site.xml
<configuration>
? ?<property>
? ? ? ?<name>mapred.job.tracker</name>
? ? ? ?<value>localhost:8021</value>
? ?</property>
? ?<property>
? ? ? ?<name>mapred.tasktracker.map.tasks.maximum</name>
? ? ? ?<value>2</value>
? ?</property>
? ?<property>
? ? ? ?<name>mapred.tasktracker.reduce.tasks.maximum</name>
? ? ? ?<value>2</value>
? ?</property>
</configuration>
安裝HDFS
經過以上的配置,就可以進行HDFS的安裝了。
$HADOOP_HOME/bin/hadoop name node -format
如果順利的話,會得到類似如下的輸出:
BillymatoMacBook-Air:hadoop Billy$ $HADOOP_HOME/bin/hadoop namenode -format
Warning: $HADOOP_HOME is deprecated.
以上安裝完成。