亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

Pandas UDF 返回沒有數據的數據框

Pandas UDF 返回沒有數據的數據框

梵蒂岡之花 2023-02-15 17:35:06
我正在嘗試在 pyspark (Spark 2.4.5) 中應用非常簡單的 Pandas UDF,但它對我不起作用。例子:pyspark --master local[4] --conf "spark.pyspark.python=/opt/anaconda/envs/bd9/bin/python3" --conf "spark.pyspark.driver.python=/opt/anaconda/envs/bd9/bin/python3" >>> my_df = spark.createDataFrame(...     [...         (1, 0),...         (2, 1),...         (3, 1),...     ],...     ["uid", "partition_id"]... )from pyspark.sql.types import StructType, StructField, StringTypeschema = StructType([StructField("uid", StringType())])from pyspark.sql.functions import pandas_udf, PandasUDFTypeimport pandas>>> @pandas_udf(schema, PandasUDFType.GROUPED_MAP)... def apply_model(sample_df):...     print(sample_df)...     return pandas.DataFrame({"uid": sample_df["uid"]})...>>> result = my_df.groupBy("partition_id").apply(apply_model)>>> result.show()   uid  partition_id0    1             0[Stage 13:==================================================>    (92 + 4) / 100]   uid  partition_id0    2             11    3             1+---+|uid|+---+|  ||  ||  |+---+不知何故 uid 沒有反映在結果中。你能說我在這里缺少什么嗎?
查看完整描述

1 回答

?
婷婷同學_

TA貢獻1844條經驗 獲得超8個贊

抱歉,不好意思,我在模式中寫錯了類型,應該是 LongType() 而不是 StringType()



查看完整回答
反對 回復 2023-02-15
  • 1 回答
  • 0 關注
  • 112 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號