亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

已解決430363個問題，去搜搜看，總會有你想問的

通過 uber/petastorm 將 ndarrays 存儲到 Parquet 中？

關注

首頁猿問通過 uber/petastorm...

通過 uber/petastorm 將 ndarrays 存儲到 Parquet 中？

Python

慕田峪7331174 2021-11-09 15:44:14

是否可以通過uber/petastorm將 N 維數組存儲到 Parquet 中？

查看完整描述

1 回答

揚帆大魚

TA貢獻1799條經驗獲得超9個贊

是的。Petastorm 在標準的 Apache Parquet 格式之上提供了一個自定義的編解碼器層和一個模式擴展。n 維數組/張量將被序列化為二進制 blob 字段。從用戶的角度來看，這些看起來像原生類型，取決于您使用的環境（純 Python/pyspark：numpy/array、Tensorflow 中的 tf.Tensor 或 PyTorch 中的 torch Tensor）。

這里有一些易于理解的示例：https : //github.com/uber/petastorm/tree/master/examples/hello_world/petastorm_dataset

反對回復 2021-11-09