亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

Hadoop進階

mooc小牧 JAVA開發工程師
難度中級
時長 3小時 3分
學習人數
綜合評分9.77
31人評價 查看評價
9.9 內容實用
9.5 簡潔易懂
9.9 邏輯清晰
在Shuffle(洗牌)階段,key如果是字母會自動根據字典的順序進行排序,如果是數字則升序。
請問分片是怎么分的,按文件內容還是二進制?
map3的時候轉出來的是反的,不過沒有影響
老師講的非常好,不過需要各位有基礎,等大家把矩陣相乘學完,再對比這個圖,能夠清晰的講解出map-shuffle-reduce對應的區段,以及顏色塊內對應的鍵值對的集合,那就學到了!我也是回頭反過來才一一對應起來的。
看到后面的又反過來看前面,才開始明白,map實際代碼只用處理一行,而且可以重復寫相同的key,比如<1,Deer Bear Deer><2,Deer Bear Car>,map實際代碼寫的時候只需要處理<1,Deer Bear Deer>,并且可以寫兩次context.write("Deer", 1);也就是這個map在寫的時候,實際上代碼是context.write("Deer", 1);context.write("Bear", 1);context.write("Deer", 1);
其實我覺得完全可以用二位 數組來實現,沒必要搞這么麻煩,但是作為一個教程倒是不錯,學到了很多
我實際操作的時候碰到了一個\tmp permission 0700的錯誤,這個是hadoop在Windows系統 的bug,但是我又沒辦法去編譯hadoop-core-xx.jar,所以我修改了下代碼的這個部分private static String hdfs = "hdfs://10.187.213.237:9000";,然后編譯好jar放到linux上面去,執行hadoop jar Matrix-0.0.1-SNAPSHOT.jar,最后也能成功,希望給大家一個參考
其實很好,但是很多沒有講,至少你需要配置好hadoop,hadoop連接eclipse
job.setCacheFiles(new URI[]{new Path("/20180312/cache_for_111.txt#cache111").toUri()});
split("[\t]")
一臉懵逼。。。。
不吹不黑,講得真不賴,可得好好學!
課程須知
1、在學習本課程之前,需要學習hadoop課程基礎篇,即掌握MapReduce作業的基本步驟。 2、需要掌握線性代數、向量等的基本數學知識
老師告訴你能學到什么?
1、hadoop新舊版本的基本架構 2、mapreduce作業的內部原理 3、mapreduce作業重要參數的調優 4、利用hadoop緩存實現矩陣相乘 5、簡單的推薦算法

微信掃碼,參與3人拼團

微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

友情提示:

您好,此課程屬于遷移課程,您已購買該課程,無需重復購買,感謝您對慕課網的支持!

本次提問將花費2個積分

你的積分不足,無法發表

為什么扣積分?

本次提問將花費2個積分

繼續發表請點擊 "確定"

為什么扣積分?

舉報

0/150
提交
取消