spark 有沒有可以讀寫的共享變量的解決方案
1 回答
largeQ
TA貢獻2039條經驗 獲得超8個贊
scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))
broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0)
scala> broadcastVar.value
res0: Array[Int] = Array(1, 2, 3)
在創建了廣播變量之后，在集群上的所有函數中應該使用它來替代使用v.這樣v就不會不止一次地在節點之間傳輸了。另外，為了確保所有的節點獲得相同的變量，對象v在被廣播之后就不應該再修改。
- 1 回答
- 0 關注
- 803 瀏覽
添加回答
舉報
0/150
提交
取消