1 回答

TA貢獻1900條經驗 獲得超5個贊
您很可能會收到此錯誤,因為 apandas_udf采用 pandas Series 作為輸入,并且您將該decode函數直接應用于該系列,而不是將其應用于 pandas Series 中的值。
例如,在下面的示例中,我稍微擴展了您的 lambda 函數,以便您可以看到它。我采用 pandas 系列,將polyline.decode函數應用于該系列,然后再次返回結果系列。請注意,我還將返回類型更改為ArrayType(DoubleType())而不是ArrayType(StringType()).
import pandas as pd
from pyspark.sql.types import ArrayType, DoubleType
....
df = spark.createDataFrame([["~sqU__pR_jpv@_pR"], ["_~t[__pR~qy@_pR"]], ["geolocations"])
@pandas_udf(ArrayType(DoubleType()))
def lat_long_udf(s: pd.Series) -> pd.Series:
return s.apply(lambda x: polyline.decode(x)[0])
df1=df.withColumn('decoded', lat_long_udf(df.geolocations))
df1.collect()
添加回答
舉報