-
rdd基本操作之action介紹,
action表示在rdd上計算出來一個結果。
把結果返回給driver program或保存在文件系統,count()、save都算是基本的action。
查看全部 -
rdds課程小結,集合運算,map、filter、flatmap等
查看全部 -
求一個rdds在另一個rdds的包含,請用rdd1.subtract(rdd2),如下圖所示:
查看全部 -
rdds求交集,如rdd1.intersection(rdd2),如下圖所示:
查看全部 -
合并rdds用,rdd1.union(rdd2),如下圖所示:
查看全部 -
RDDs去重,如rdd1.distinct()
查看全部 -
如何定義RDDs,聲明如下圖所示:
查看全部 -
flatMap()后的打印結果如截圖所示:
查看全部 -
逐元素transformation,
flatmap():
對每個輸入元素,輸出多個輸出元素。
flat壓扁的意思,將rdd中元素壓扁后返回一個新的rdd。
查看全部 -
filter的用法,生成新的rdd。如截圖所示:
查看全部 -
逐元素transformation
filter():
? filter()接收函數,返回只包含滿足filter()函數的元素的新rdd。
查看全部 -
將單獨的元素轉換成map類型的rdd,如截圖所示。
查看全部 -
逐元素transformation
map():
????map()接收函數,把函數應用到rdd的每一個元素,返回新rdd。
查看全部 -
transformation介紹,
轉換操作,
從之前的rdd構建一個新的rdd,像map()和filter()操作。。。
查看全部 -
課程小結
driver program,有main方法是整個程序的入口
sparkcontext,就是sc
rdds
scala簡單介紹
查看全部
舉報