講師回答 / 叁金
使用bash hdfs dfs -ls /? ?或者 ./hdfs dfs -ls /我視頻里面能直接使用hdfs命令是因為我添加了HADOOP_HOME的環境變量,并將其bin目錄添加到了PATH內。你也可以在~/.bashrc里面添加export HADOOP_HOME=xxxxexport PATH=xxx/bin:$PATH
2018-08-26
二級NameNode機制:
SecondaryNameNode定期同步NameNode的內容,當NameNode發生故障時,SecondaryNameNode轉正
SecondaryNameNode定期同步NameNode的內容,當NameNode發生故障時,SecondaryNameNode轉正
2018-08-13
最贊回答 / 鬈崮
http://www.powerxing.com/install-hadoop/ http://www.powerxing.com/install-hadoop-cluster/ 看過的最好的教程,沒有之一。兩個網站一起看,都是一個人寫的,但是有先后順序。一次搭建成功。
2018-07-12
對于小文件問題,Hadoop本身也提供了幾個解決方案,分別為:Hadoop Archive,Sequence file和CombineFileInputFormat
2018-07-09
影響MapReduce的主要因素有以下幾個:
硬件(或者資源)因素,如CPU時鐘、磁盤I/O、網絡帶寬和內存大小。
底層存儲系統。
輸入數據、分揀(shuffle)數據以及輸出數據的大小,這與作業的運行時間緊密相關。
作業算法(或者程序),如map、reduce、partition、combine和compress。有些算法很難在MapReduce中概念化,或者在MapReduce中效率可能會降低。
硬件(或者資源)因素,如CPU時鐘、磁盤I/O、網絡帶寬和內存大小。
底層存儲系統。
輸入數據、分揀(shuffle)數據以及輸出數據的大小,這與作業的運行時間緊密相關。
作業算法(或者程序),如map、reduce、partition、combine和compress。有些算法很難在MapReduce中概念化,或者在MapReduce中效率可能會降低。
2018-07-09