最贊回答 / Cybtron
一個MapReduce作業由Map階段和Reduce階段兩部分組成，這兩階段會對數據排序，從這個意義上說，MapReduce框架本質就是一個Distributed Sort。在Map階段，Map Task會在本地磁盤輸出一個按照key排序（采用的是快速排序）的文件（中間可能產生多個文件，但最終會合并成一個），在Reduce階段，每個Reduce Task會對收到的數據排序，這樣，數據便按照Key分成了若干組，之后以組為單位交給reduce（）處理。很多人的誤解在Map階段，如果不使用Combiner便不會...
2018-10-24
講師回答 / 叁金
使用bash hdfs dfs -ls /? ?或者 ./hdfs dfs -ls /我視頻里面能直接使用hdfs命令是因為我添加了HADOOP_HOME的環境變量，并將其bin目錄添加到了PATH內。你也可以在~/.bashrc里面添加export HADOOP_HOME=xxxxexport PATH=xxx/bin:$PATH
2018-08-26
最贊回答 / 靜波一世
對，分塊結束后是一個塊一個塊的上傳。一個文件只要上傳成功一個塊就可以了，副本集群會自動備份的。如果還有數據塊4,里面還會存文件1和2嘛？這個是因為講師說了數據塊要備份成3份，所有在圖例中的情況下，如果還有數據塊4的話，不會保存文件1和2了。
2018-07-20
最贊回答 / 鬈崮
http://www.powerxing.com/install-hadoop/ http://www.powerxing.com/install-hadoop-cluster/ 看過的最好的教程，沒有之一。兩個網站一起看，都是一個人寫的，但是有先后順序。一次搭建成功。
2018-07-12
已采納回答 / qq_兵刃_04412779
塊的大小設置原則：最小化尋址開小。?塊越大尋址時間越短，?傳輸一個由多個塊的組成的文件取決于磁盤傳輸速率。如尋址時間約為10ms，傳輸速率為100MB/S，為了使尋址時間僅占傳輸時間的1%，塊的大小設置約為100MB，默認大小是64MB，現在在實際身纏中都是128MB了，隨著新一代磁盤去東區傳輸速率的提升，塊的大小將會被設置的更大。注意：塊的大小太大的話，一個map任務處理一個塊，那任務數就變少了，作業運行速度也就變慢了。
2018-06-02