亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

Spark Scala:如何將Dataframe [vector]轉換為DataFrame [f1

Spark Scala:如何將Dataframe [vector]轉換為DataFrame [f1

莫回無 2019-10-12 13:47:08
我只是使用Standard Scaler來標準化ML應用程序的功能。選擇縮放的特征后,我想將其轉換回Doubles的數據幀,盡管矢量的長度是任意的。我知道如何通過使用特定的3個功能來做到這一點myDF.map{case Row(v: Vector) => (v(0), v(1), v(2))}.toDF("f1", "f2", "f3")但不適用于任意數量的功能。是否有捷徑可尋?例:val testDF = sc.parallelize(List(Vectors.dense(5D, 6D, 7D), Vectors.dense(8D, 9D, 10D), Vectors.dense(11D, 12D, 13D))).map(Tuple1(_)).toDF("scaledFeatures")val myColumnNames = List("f1", "f2", "f3")// val finalDF = DataFrame[f1: Double, f2: Double, f3: Double] 編輯我發現了在創建數據框時如何解壓縮到列名的方法,但是仍然無法將向量轉換為創建數據框所需的序列:finalDF = testDF.map{case Row(v: Vector) => v.toArray.toSeq /* <= this errors */}.toDF(List("f1", "f2", "f3"): _*)
查看完整描述

3 回答

  • 3 回答
  • 0 關注
  • 2258 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號