我有一列“ start_date”，它是一個整數37823。這是在我使用xlrd庫將xlsx轉換為csv時發生的。因此，“ 2003/07/21”被轉換為37823。我已經閱讀了xlrd文檔，并且了解到有幾種將其轉換為日期的方法。但是，我需要在AWS Glue ETL作業中使用PySpark將其轉換為日期格式。有什么建議么？我嘗試使用to_date，date_format函數，但沒有任何效果。
3 回答
楊__羊羊
TA貢獻1943條經驗 獲得超7個贊
我終于能夠解決這個問題。
使用UDF：
def convert_date(x):
mDt = datetime.datetime(1899, 12, 30)
dlt = mDt + datetime.timedelta(days=x)
return dlt.strftime("%Y-%m-%d")
convert_date_udf = udf(lambda z: convert_date(z), StringType())
df = df.withColumn('hire date', convert_date_udf('hire date').alias('hire date new'))
不使用UDF：
df = df.withColumn('hire date', F.expr("date_add(to_date('1899-12-30'), cast(`hire date` as int))").cast(StringType())
希望能幫助到你！
慕尼黑的夜晚無繁華
TA貢獻1864條經驗 獲得超6個贊
我想有更優雅的方法可以做到這一點，但這就是我現在想出的。
from datetime import date
df.hire_date = df.hire_date.apply(date.fromordinal) # this will give you date in dash format
df.hire_date = df.hire_date.apply(lambda x: str(x).replace('-', '/')) # this will simply replace dash with slash
希望這對您有用:)
添加回答
舉報
0/150
提交
取消