亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

Hadoop進階

mooc小牧 JAVA開發工程師
難度中級
時長 3小時 3分
學習人數
綜合評分9.77
31人評價 查看評價
9.9 內容實用
9.5 簡潔易懂
9.9 邏輯清晰
沒有代碼下載嗎? 那我貼一個 https://github.com/nameistw/BigData/tree/master/hadoop/matrix
The method addInputPath(JobConf, Path) in the type FileInputFormat is not applicable for the arguments (Job, Path)
報這個錯誤時需要將舊版的 API org.apache.hadoop.mapred.FileInputFormat;
換成 org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
hadoop 1.2.1版本
conf.set("fs.defaultDF,hdfs")改成
conf.set("fs.default.name", hdfs);
建議大家可以先看一下這個博客
主要講解如何配置虛擬機centos,安裝配置hadoop環境,將eclipse與hadoop連接
http://www.cnblogs.com/xia520pi/category/346943.html
老師講的很不錯啊,普通話1級
謝謝老師 講的很清晰明了 贊贊!
在Shuffle(洗牌)階段,key如果是字母會自動根據字典的順序進行排序,如果是數字則升序。
請問分片是怎么分的,按文件內容還是二進制?

最新回答 / jackXu2017
根據相似度矩陣作為修改用戶評分矩陣的權重,等式結果為6*3矩陣是用戶對于6個物品的針對于物品相似度的評分矩陣。不知道我有沒有說清楚……
map3的時候轉出來的是反的,不過沒有影響
老師講的非常好,不過需要各位有基礎,等大家把矩陣相乘學完,再對比這個圖,能夠清晰的講解出map-shuffle-reduce對應的區段,以及顏色塊內對應的鍵值對的集合,那就學到了!我也是回頭反過來才一一對應起來的。
看到后面的又反過來看前面,才開始明白,map實際代碼只用處理一行,而且可以重復寫相同的key,比如<1,Deer Bear Deer><2,Deer Bear Car>,map實際代碼寫的時候只需要處理<1,Deer Bear Deer>,并且可以寫兩次context.write("Deer", 1);也就是這個map在寫的時候,實際上代碼是context.write("Deer", 1);context.write("Bear", 1);context.write("Deer", 1);
其實我覺得完全可以用二位 數組來實現,沒必要搞這么麻煩,但是作為一個教程倒是不錯,學到了很多
課程須知
1、在學習本課程之前,需要學習hadoop課程基礎篇,即掌握MapReduce作業的基本步驟。 2、需要掌握線性代數、向量等的基本數學知識
老師告訴你能學到什么?
1、hadoop新舊版本的基本架構 2、mapreduce作業的內部原理 3、mapreduce作業重要參數的調優 4、利用hadoop緩存實現矩陣相乘 5、簡單的推薦算法

微信掃碼,參與3人拼團

微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

友情提示:

您好,此課程屬于遷移課程,您已購買該課程,無需重復購買,感謝您對慕課網的支持!

本次提問將花費2個積分

你的積分不足,無法發表

為什么扣積分?

本次提問將花費2個積分

繼續發表請點擊 "確定"

為什么扣積分?

舉報

0/150
提交
取消