我們使用 Pandas 將 CSV 讀入數據幀： someDataframe = pandas.read_csv( filepath_or_buffer=our_filepath_here, error_bad_lines=False, warn_bad_lines=True )由于我們允許跳過壞行，因此我們希望能夠跟蹤已跳過的行數并將其放入一個值中，以便我們可以對其進行度量。為此，我正在考慮比較數據框中的行數與原始文件中的行數。我認為這就是我想要的：someDataframe = pandas.read_csv( filepath_or_buffer=our_filepath_here, error_bad_lines=False, warn_bad_lines=True)initialRowCount = sum(1 for line in open('our_filepath_here'))difference = initialRowCount - len(someDataframe.index))但是運行這個的硬件是非常有限的，當我們已經通過 .read_csv 完成整個事情時，我寧愿不打開文件并迭代整個事情只是為了獲得行數。有誰知道有更好的方法來獲取 CSV 的成功處理計數和初始行數嗎？
1 回答
狐的傳說
TA貢獻1804條經驗 獲得超3個贊
雖然我沒有親自測試過這一點，但我相信您可以通過捕獲警告并檢查返回的捕獲警告列表的長度來計算生成的警告數量。然后將其添加到數據框的當前形狀：
import warnings
import pandas as pd
with warnings.catch_warnings(record=True) as warning_list:
someDataframe = pandas.read_csv(
filepath_or_buffer=our_filepath_here,
error_bad_lines=False,
warn_bad_lines=True
)
# May want to check if each warning object a pandas "bad line warning"
number_of_warned_lines = len(warning_list)
initialRowCount = len(someDataframe) + number_of_warned_lines
https://docs.python.org/3/library/warnings.html#warnings.catch_warnings
編輯：花了一點時間，但這似乎適用于 Pandas。我們將暫時重定向，而不是依賴內置警告stderr。然后我們可以計算該字符串中出現“Skipping Lines”的次數，并以帶有此警告消息的壞行數結束！
import contextlib
import io
bad_data = io.StringIO("""
a,b,c,d
1,2,3,4
f,g,h,i,j,
l,m,n,o
p,q,r,s
7,8,9,10,11
""".lstrip())
new_stderr = io.StringIO()
with contextlib.redirect_stderr(new_stderr):
df = pd.read_csv(bad_data, error_bad_lines=False, warn_bad_lines=True)
n_warned_lines = new_stderr.getvalue().count("Skipping line")
print(n_warned_lines) # 2
添加回答
舉報
0/150
提交
取消