亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

需要計算數據框列時使用 dask 進行并行計算

需要計算數據框列時使用 dask 進行并行計算

狐的傳說 2021-06-11 18:09:01
我有一個 3.6 億的鳥類觀測數據記錄數據 框,我想以dask分布式方式計算每個鳥類物種的質心作為年日的函數。我想要做:df2 = df.groupby(['VERNACULARNAME', 'yearday']).mean()但我需要先計算yearday,我不知道是否有辦法用dask. 我希望 dask 可以將新數據保存給dask工作人員,但是當我嘗試時:def yearday(r):    r['yearday'] = dt.datetime(r['YEAR'], r['MONTH'], r['DAY']).timetuple().tm_yday    return rdf.apply(yearday, axis=1).persist()它沒有規模。如果有人想實際嘗試,可以像這樣加載數據:import dask.dataframe as dddf = dd.read_parquet('s3://esipfed/ebird/EOD_CLO_2016.parq.gz',            storage_options={'anon': True, 'use_ssl': False})注意:雖然我稱這個數據集為EOD_CLO_2016.parq.gz,但它在 S3 存儲桶中的許多對象上分塊以促進并行化。每個塊都被 gzip 壓縮。有沒有辦法以分布式方式即時進行這種計算,或者我是否需要在groupby用于執行可擴展部分之前用 yearday 列編寫另一個數據文件?
查看完整描述

1 回答

  • 1 回答
  • 0 關注
  • 167 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號