亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

如何在使用 Pandas 導入 csv 文件期間有效地刪除重疊的行?

如何在使用 Pandas 導入 csv 文件期間有效地刪除重疊的行?

幕布斯6054654 2021-12-17 16:29:03
我正在嘗試使用如下所示的 Pandas 導入 csv 文件:文件 1:Date;Time;Value2019-03-07;20:43;0.0512019-03-07;20:44;0.048...2019-03-07;22:55;0.0952019-03-07;22:56;0.098  文件2:Date;Time;Value2019-03-07;22:55;0.0952019-03-07;22:56;0.098    ...2019-03-08;09:10;0.0242019-03-08;09:11;0.022目前我正在導入這樣的數據:data = pd.concat([pd.read_csv(open(file),sep=';') for file in files])data.index = pd.to_datetime(data['Date'] + ' ' + data['Time'])   顯然,現在我在導入的數據框中有兩次測量數據的重疊部分,繪制如下:由于我需要評估大量 csv 文件,因此我對處理這種情況的最有效方法很感興趣。我想到了這兩個選項:在循環內導入文件,并且對于每個文件,僅使用file[i] > file[i-1].像我現在一樣導入文件并在附加步驟中刪除重復項。這些選項中哪個更有效,是否有我現在沒有想到的更有效的選擇?
查看完整描述

1 回答

?
MMTTMM

TA貢獻1869條經驗 獲得超4個贊

至于刪除重復項,pandas 支持:


data = pd.concat([pd.read_csv(open(file),sep=';') for file in files])

data.index = pd.to_datetime(data['Date'] + ' ' + data['Time']

data = data[~data.index.duplicated()]

另見文檔:https : //pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Index.duplicated.html


關于做到這一點的“最佳”方法,這取決于數據量、其他限制條件等。如果沒有更多上下文就無法回答,無論如何都可能是基于意見的。


查看完整回答
反對 回復 2021-12-17
  • 1 回答
  • 0 關注
  • 158 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號