我主要在這里重現我在forum.aws上看到的一個問題，希望 stackoverflow 社區的答案/解釋比論壇上的討論更徹底、更有啟發性。這是我對這個問題的經驗：我使用 pandas 從 python 中的數據幀制作了一個鑲木地板文件，并將一個字段/列說生日作為datetime64[ns]使用pandas.to_datetime. 這部分過程似乎完美無缺，因為我可以使用讀取鑲木地板文件pandas.read_parquet并獲得我期望的結果，即在日期時間中輸入的日期。但是，當我將所述鑲木地板文件加載到 AWS 并在athena其上放置一個表格時，讀取相同的生日列會產生與鑲木地板文件中的日期完全不匹配的垃圾日期。例如t = pandas.DataFrame([['Haiti',pandas.to_datetime('1804-01-01')]],columns=['Country','Independence'])t.to_parquet("s3://<mybucket>/tmp/t.parquet")|Country | Independence||--------|-------------||Haiti | 1804-01-01 |CREATE EXTERNAL TABLE IF NOT EXISTS default.mytable ( `Country` string, `Independence` timestamp )ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'WITH SERDEPROPERTIES ( 'serialization.format' = '1') LOCATION 's3://<mybucket>/tmp/'TBLPROPERTIES ('has_encrypted_data'='false');SELECT * FROM "default"."mytable" limit 10;|Country | Independence ||--------|--------------------------||Haiti |-164033-12-18 00:00:00.000|
1 回答
翻過高山走不出你
TA貢獻1875條經驗 獲得超3個贊
您可以使用“coerce_timestamps”強制 to_parquet 以 Athena 可以理解的格式寫入：
t = pandas.DataFrame([['Haiti',pandas.to_datetime('1804-01-01')]],columns=['Country','Independence'])
t.to_parquet("s3://<mybucket>/tmp/t.parquet", coerce_timestamps='ms')
|Country | Independence|
|--------|-------------|
|Haiti | 1804-01-01 |
CREATE EXTERNAL TABLE IF NOT EXISTS default.mytable (
`Country` string,
`Independence` timestamp
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1'
) LOCATION 's3://<mybucket>/tmp/'
TBLPROPERTIES ('has_encrypted_data'='false');
SELECT * FROM "default"."mytable" limit 10;
|Country | Independence |
|--------|-----------------------|
|Haiti |1804-01-01 00:00:00.000|
添加回答
舉報
0/150
提交
取消