亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

Spark中執行transformation和action的區別?

Spark中執行transformation和action的區別?

臨摹微笑 2018-11-14 15:11:56
Spark中執行transformation和action的區別
查看完整描述

1 回答

?
慕田峪4524236

TA貢獻1875條經驗 獲得超5個贊

從運行層面來看,Transformation實際上是一種鏈式的邏輯Action,記錄了RDD演變的過程。Action則是實質觸發
Transformation開始計算的動作,由于在每個Transformation的過程中都有記錄,所以每個RDD是知道上一個RDD是怎樣轉變為
當前狀態的,所以如果出錯就可以很容易的重新演繹計算過程。
Transformation和Actions操作概況Transformation具體內容
map(func) :返回一個新的分布式數據集,由每個原元素經過func函數轉換后組成
filter(func) : 返回一個新的數據集,由經過func函數后返回值為true的原元素組成
*flatMap(func) : 類似于map,但是每一個輸入元素,會被映射為0到多個輸出元素(因此,func函數的返回值是一個Seq,而不是單一元素)
flatMap(func) : 類似于map,但是每一個輸入元素,會被映射為0到多個輸出元素(因此,func函數的返回值是一個Seq,而不是單一元素)
sample(withReplacement, frac, seed) :
根據給定的隨機種子seed,隨機抽樣出數量為frac的數據
union(otherDataset) : 返回一個新的數據集,由原數據集和參數聯合而成
groupByKey([numTasks]) :
在一個由(K,V)對組成的數據集上調用,返回一個(K,Seq[V])對的數據集。注意:默認情況下,使用8個并行任務進行分組,你可以傳入numTask可選參數,根據數據量設置不同數目的Task
reduceByKey(func,
[numTasks]) :
在一個(K,V)對的數據集上使用,返回一個(K,V)對的數據集,key相同的值,都被使用指定的reduce函數聚合到一起。和groupbykey



查看完整回答
反對 回復 2018-12-10
  • 1 回答
  • 0 關注
  • 1066 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號