已解決430363個問題，去搜搜看，總會有你想問的

通過執行數據庫提取操作動態生成 Spark 列

首頁猿問通過執行數據庫提取操作動態生成...

通過執行數據庫提取操作動態生成 Spark 列

Java

慕無忌1623718 2022-08-17 15:42:04

我有一個包含2列的火花數據幀。我想在火花數據幀上生成第3列。第 3 列必須由使用前 2 列從 DB 提取的值填充。data = data.withColumn("z", getValueOfZ(col("x"),col("y")));我無法弄清楚，如何在函數中使用x和y填充y的值。getValueOfZ（）需要根據 x 和 y 的值執行選擇查詢，并返回 Z 的值getValueOfZ()

查看完整描述

1 回答

蕪湖不蕪

TA貢獻1796條經驗獲得超7個贊

我不知道應該做什么。使用 Spark 有 3 個選項。getValueOfY()

操作簡單

如果是簡單的操作，則可以使用.例如，如果結果是 x 和 y 的總和，則可以使用：expr()

df = df.withColumn("y", expr("x + y")));

您可以通過以下方式使用：expr()

import static org.apache.spark.sql.functions.expr;

內置函數

Spark提供了很多這樣的功能。他們的Javadoc可以在這里找到。

自定義 UDF 轉換

如果您的代碼更復雜，并且無法通過表達式或函數進行處理，則可以調用 UDF（用戶定義函數）。

我希望它有幫助，不要猶豫，評論提出更多問題。

反對回復 2022-08-17

1 回答
0 關注
123 瀏覽

關注

添加回答

舉報

0/150

提交

取消

亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

熱搜

最近搜索清空

通過執行數據庫提取操作動態生成 Spark 列

通過執行數據庫提取操作動態生成 Spark 列

1 回答

操作簡單

內置函數

自定義 UDF 轉換

添加回答