spark 的 map 和 flatMap 應該怎樣理解
1 回答
當年話下
TA貢獻1890條經驗 獲得超9個贊
map: 對RDD每個元素轉換
flatMap: 對RDD每個元素轉換, 然后再扁平化（即將所有對象合并為一個對象）
e.g.
// data 有兩行數據，第一行 a,b,c，第二行1,2,3
scala>data.map(line1 => line1.split(",")).collect()
res11: Array[Array[String]] = Array(Array(a, b, c),Array(1, 2, 3))
scala>data.flatMap(line1 => line1.split(",")).collect()
res13: Array[String] = Array(a, b, c, 1, 2, 3)
- 1 回答
- 0 關注
- 808 瀏覽
添加回答
舉報
0/150
提交
取消