我有一個Dataframe帶有strings. 如何檢查其中的哪些行是數字。我在 PySpark 的官方文檔中找不到任何功能-values = [('25q36',),('75647',),('13864',),('8758K',),('07645',)]df = sqlContext.createDataFrame(values,['ID',])df.show()+-----+| ID|+-----+|25q36||75647||13864||8758K||07645|+-----+在 Python 中，有一個函數.isDigit()可以返回True或者False是否string只包含數字。預期數據幀 -+-----+-------+| ID| Value |+-----+-------+|25q36| False ||75647| True ||13864| True ||8758K| False ||07645| True |+-----+-------+我想避免創建一個UDF.
3 回答
紫衣仙女
TA貢獻1839條經驗 獲得超15個贊
如果您愿意，您還可以udf為此目的構建自定義：
from pyspark.sql.types import BooleanType
from pyspark.sql import functions as F
def is_digit(val):
if val:
return val.isdigit()
else:
return False
is_digit_udf = udf(is_digit, BooleanType())
df = df.withColumn('Value', F.when(is_digit_udf(F.col('ID')), F.lit(True)).otherwise(F.lit(False)))
添加回答
舉報
0/150
提交
取消