亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

Spark中parallelize函數和makeRDD函數的區別?

Spark中parallelize函數和makeRDD函數的區別?

呼喚遠方 2019-01-29 06:02:08
Spark中parallelize函數和makeRDD函數的區別
查看完整描述

2 回答

?
絕地無雙

TA貢獻1946條經驗 獲得超4個贊

Spark主要提供了兩種函數:parallelize和makeRDD:
1)parallelize的聲明:
def parallelize[T: ClassTag](
seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]

2)makeRDD的聲明:
def makeRDD[T: ClassTag](

seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]
def makeRDD[T: ClassTag](seq: Seq[(T, Seq[String])]): RDD[T]

3)區別:

A)makeRDD函數比parallelize函數多提供了數據的位置信息。
B)兩者的返回值都是ParallelCollectionRDD,但parallelize函數可以自己指定分區的數量,而makeRDD函數固定為seq參數的size大小。

查看完整回答
反對 回復 2019-03-14
?
繁華開滿天機

TA貢獻1816條經驗 獲得超4個贊

一樣的,你看SparkContext的API里面這么說的:
def makeRDD[T](seq: Seq[T], numSlices: Int = defaultParallelism)(implicit arg0: ClassTag[T]): RDD[T]
Distribute a local Scala collection to form an RDD.
This method is identical to parallelize.

查看完整回答
反對 回復 2019-03-14
  • 2 回答
  • 0 關注
  • 1409 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號