老師講的非常好,不過需要各位有基礎,等大家把矩陣相乘學完,再對比這個圖,能夠清晰的講解出map-shuffle-reduce對應的區段,以及顏色塊內對應的鍵值對的集合,那就學到了!我也是回頭反過來才一一對應起來的。
2018-03-15
看到后面的又反過來看前面,才開始明白,map實際代碼只用處理一行,而且可以重復寫相同的key,比如<1,Deer Bear Deer><2,Deer Bear Car>,map實際代碼寫的時候只需要處理<1,Deer Bear Deer>,并且可以寫兩次context.write("Deer", 1);也就是這個map在寫的時候,實際上代碼是context.write("Deer", 1);context.write("Bear", 1);context.write("Deer", 1);
2018-03-15
我實際操作的時候碰到了一個\tmp permission 0700的錯誤,這個是hadoop在Windows系統 的bug,但是我又沒辦法去編譯hadoop-core-xx.jar,所以我修改了下代碼的這個部分private static String hdfs = "hdfs://10.187.213.237:9000";,然后編譯好jar放到linux上面去,執行hadoop jar Matrix-0.0.1-SNAPSHOT.jar,最后也能成功,希望給大家一個參考
2018-03-15
job.setCacheFiles(new URI[]{new Path("/20180312/cache_for_111.txt#cache111").toUri()});
2018-03-13