已采納回答 / _這個昵稱已被占用了_
因為老師的例子種reduce的partition只有兩個，輸入有3個key，所以其中必須有兩個key落到同一個partition內。所有相同的key匯聚到一個partition，沒毛病。所有藍色的key都在一個partition內，所有綠色的key都在一個partition內，所有黃色的也一樣。只是可能有多個key公用一個partition而已。為什么藍色和綠色的兩個key會進入到一個partition呢，這個要看具體的key的值和shuffer算法。比如：藍色key=1，綠色key=3，黃色key=2，...
2018-10-07
最新回答 / 麻雀加
連接HDFS的步驟//? ? 準備連接HDFS的操作支持類Configuration conf = new Configuration();//? ? 所要寫入的路徑，path要用于創建文件系統和創建連接hadoop的create路徑Path path = new Path("hdfs://192.168.43.134:9000/input");//? ? 創建文件系統對象FileSystem fs = path.getFileSystem(conf);//? ? 通過文件系統來創建一個IO流，輸出到ha...
2018-10-06
已采納回答 / 玨子
出現了java.io.FileNotFoundException: matrix2 的錯誤?修改mapper2@Override protected void setup(Context context) throws IOException, InterruptedException { super.setup(context); //通過輸入流將全局緩存變量中的 右側矩陣 讀入List<String>中 Configuration conf = context.getConfigur...
2018-05-15
已采納回答 / 愛新覺羅_啟星
沒有，兩個的側重點不一樣，mapReduce適合對實時性要求不高的計算（計算時中間結果溢寫到磁盤），io消耗大，spark是基于內存的計算框架，計算速度是很快的。一個是 時間換空間 另一個是 空間換時間。
2018-05-10
