亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

使用 Python 以內存高效的方式使用 pandas 處理數據

使用 Python 以內存高效的方式使用 pandas 處理數據

森欄 2023-09-26 14:52:05
我必須讀取多個 csv 文件并將它們按"event_name". 我也可能有一些重復項,所以我需要刪除它們。paths包含csv文件的所有路徑,我的代碼如下:data = []for path in paths:    csv_file = pd.read_csv(path)    data.append(csv_file)events = pd.concat(data)events = events.drop_duplicates()event_names = events.groupby('event_name')ev2 = []for name, group in event_names:    a, b = group.shape    ev2.append([name, a])這段代碼將告訴我event_name有多少個唯一的 unique ,以及每個event_name. 它工作得很好,除了 csv 文件太大而且我遇到了內存問題。有沒有辦法使用更少的內存來做同樣的事情?我讀到了有關使用dir()和globals()刪除變量的內容,我當然可以使用它們,因為一旦我有了,我就不再event_names需要 DataFrame 了。events但是,我仍然遇到這些記憶問題。更具體地說,我的問題是:我可以以更節省內存的方式讀取 csv 文件嗎?或者我可以做些什么來減少內存使用?我不介意犧牲性能,只要我可以一次讀取所有 csv 文件,而不是逐塊讀取。
查看完整描述

1 回答

?
飲歌長嘯

TA貢獻1951條經驗 獲得超3個贊

只需保留每行的哈希值即可減少數據大小。


csv_file = pd.read_csv(path)


# compute hash (gives an `uint64` value per row)

csv_file["hash"] = pd.util.hash_pandas_object(csv_file)


# keep only the 2 columns relevant to counting

data.append(csv_file[["event_name", "hash"]])

如果您不能冒哈希沖突的風險(這在天文數字上不太可能發生),只需使用另一個哈希鍵并檢查最終計數結果是否相同。更改哈希鍵的方法如下。


# compute hash using a different hash key

csv_file["hash2"] = pd.util.hash_pandas_object(csv_file, hash_key='stackoverflow')


查看完整回答
反對 回復 2023-09-26
  • 1 回答
  • 0 關注
  • 109 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號