課程
/云計算&大數據
/大數據
/Spark從零開始
這里面在map的時候，為什么不是把hello單詞結果集寫成（hello，2）呢？
2017-07-20
源自：Spark從零開始 4-2
正在回答
這里的 ?map(word=>(word,1)) ?指的是將每一行中的單詞進行統計，
之后reduceByKey{case (x,y)=>x+y}方指將所有行中相同單詞的個數進行統計
從語法上來說，沒問題。但是從語義上來說，為了計數，每個單詞計數1次，同一詞的計數相加得到出現的總次數，這是很自然的。若計數2次，為了得到總次數，相加后還要除2，這是沒必要的。
Glacia1SugArLon
舉報
本課程旨在讓同學們了解Spark基礎知識，掌握Spark基礎開發.
1 回答2-2按照步驟來不能運行，是不是需要安裝2-1先把spark安裝好？
1 回答為什么最后會生成兩個文件呢？
1 回答什么時候出后續課程
1 回答請問combineByKey求平均值的時候為什么有c1 c2兩個partition
1 回答啟動的時候報錯，有什么地方還需要配么？
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網安備11010802030151號
購課補貼聯系客服咨詢優惠詳情
慕課網APP您的移動學習伙伴
掃描二維碼關注慕課網微信公眾號
2017-12-19
這里的 ?map(word=>(word,1)) ?指的是將每一行中的單詞進行統計，
之后reduceByKey{case (x,y)=>x+y}方指將所有行中相同單詞的個數進行統計
2017-07-30
從語法上來說，沒問題。但是從語義上來說，為了計數，每個單詞計數1次，同一詞的計數相加得到出現的總次數，這是很自然的。若計數2次，為了得到總次數，相加后還要除2，這是沒必要的。