我正在嘗試刪除或刪除我正在使用 Pandas 讀取的數據的標題。一個文件有一個標題，另一個沒有，但我希望能夠檢查標題然后將其刪除。到目前為止，我已經嘗試在 read_csv 函數中使用 header=Nonefrom pathlib import Pathimport pandas as pddef _reader(fname): return pd.read_csv(fname, sep="\t", header=None)folder = Path("C:\\Me\\Project1")data = pd.concat([ _reader(txt) for txt in folder.glob("*.txt")])我收到以下錯誤：TypeError: must be str, not int我的兩個文件如下所示：文件1.txtISIN AVL_QTYBAD 90000AAB 8550000BAD 173688BAD 360000BAD 90000BAD 810000BAD 900000BAD 900000文件2.txtTEST 543HELLO 555STOCK 900CODE 785
3 回答
慕容森
TA貢獻1853條經驗 獲得超18個贊
首先，您需要檢查第一行是否是標題。例如，您可以檢查第一行的任何條目是否以數字開頭，因為這對于列標題來說不是典型的。事實上，在不知道您的數千個文件的情況下，正確的標頭檢測方法只是猜測 - 但這并不是您代碼中的真正重點。
要使用標頭檢測，您應該使用普通循環而不是列表解析，以便您可以在每次迭代中： 1. 檢查標頭 2. 讀取文件并將數據附加到數據幀：
df = pd.DataFrame()
for f in folder.glob("*.txt"):
with open(f) as fin:
chk_lst = next(fin).split()
is_h = not any(v[0].isdecimal() for v in chk_lst)
df = pd.concat([df, pd.read_csv(f, sep='\s+', header=(None, 0)[is_h])], axis=1)
# ISIN AVL_QTY 0 1
# 0 BAD 90000 TEST 543.775
# 1 AAB 8550000 HELLO 555.000
# 2 BAD 173688 STOCK 900.000
# 3 BAD 360000 CODE 785.000
# 4 BAD 90000 NaN NaN
# 5 BAD 810000 NaN NaN
# 6 BAD 900000 NaN NaN
# 7 BAD 900000 NaN NaN
編輯：
為了明智地連接行，您可以使用
df = pd.concat([df, pd.read_csv(f, sep='\s+', header=None, skiprows=(0, 1)[is_h])], axis=0, ignore_index=True)
# 0 1
# 0 BAD 90000
# 1 AAB 8550000
# 2 BAD 173688
# 3 BAD 360000
# 4 BAD 90000
# 5 BAD 810000
# 6 BAD 900000
# 7 BAD 900000
# 8 TEST 543
# 9 HELLO 555
# 10 STOCK 900
# 11 CODE 785
慕雪6442864
TA貢獻1812條經驗 獲得超5個贊
有幾種方法可以檢查 csv 文件是否有標題
使用 csv 庫
import csv
with open('example.csv', 'rb') as csvfile:
sniffer = csv.Sniffer()
has_header = sniffer.has_header(csvfile.read(2048))
csvfile.seek(0)
# ...
或者如果你知道你的數據，檢查第一行是否有任何數字
is_header = not any(cell.isdigit() for cell in csv_table[0])
或使用熊貓本身，如果您知道標題可能會被稱為什么
df = (pd.read_csv(filename, header=None, names=cols)
[lambda x: np.ones(len(x)).astype(bool)
if (x.iloc[0] != cols).all()
else np.concatenate([[False], np.ones(len(x)-1).astype(bool)])]
)
當然，如果你想先用命令行預處理文件，它可能會更快......
添加回答
舉報
0/150
提交
取消