我正在從 CSV 文件中讀取行并創建一個包含所有行的列表列表。最后我將列表的列表發送到 MySQL 數據庫。CSV 文件中約有 150 萬行。整個過程大約需要一分半鐘，這沒有問題，列表列表的大小也沒有問題。下面是從 CSV 文件中摘錄的示例，由于實際列數較多而進行了簡化：['AIDS mortality - Females', 'Rate', 'Females estimate', 'All countries', '03M49WLD', 1994, 0.110264]['AIDS mortality - Females', 'Rate', 'Females upper estimate', 'All countries', '03M49WLD', 1994, 0.120264]['HIV Incidence - males 15-24', 'Rate', 'Males (15-24)', 'upper estimate', 'Patigi', 'NGA_3_396', 2019, 0.00068]['AIDS mortality - Females', 'Rate', 'Females lower estimate', 'All countries', '03M49WLD', 1994, 0.100264]...挑戰在于我需要將給定“指標”（第一個值）的估計值、上估計值和下估計值放入單個列表中，以便它們最終位于數據庫中的同一行。在此示例中，三行帶有AIDS mortality - Females. 數據庫表的每一行都有用于估計/下限/上限的列。這意味著我最終得到的數據庫行數僅為原始 CSV 文件行數的三分之一。讓事情變得復雜的是，我無法對 CSV 文件中的三個相應行（估計/上/下）可以找到的位置做出任何假設。這里它們在一起是為了說明，但實際上它們可以相距一百萬行。我嘗試過暴力破解該問題，因此對于從 CSV 文件讀取的每個新行，掃描所有列表以查看所有其他值是否相同，除了估計值/上估計值/下估計值。如果是，則合并，如果不是，則創建新列表。然而，這是非常低效的并且花費太長時間。我覺得這里有一個技巧，經驗豐富的開發人員會知道優化這個過程。
1 回答
慕慕森
TA貢獻1856條經驗 獲得超17個贊
如果我正確理解了這個問題，那么您似乎需要為每個“指標”構建一個字典，它將該指標的估計值映射到其相應的值。
rows = [
['AIDS mortality - Females', 'Rate', 'Females estimate', 'All countries', '03M49WLD', 1994, 0.110264],
['AIDS mortality - Females', 'Rate', 'Females upper estimate', 'All countries', '03M49WLD', 1994, 0.120264],
['HIV Incidence - males 15-24', 'Rate', 'Males (15-24)', 'upper estimate', 'Patigi', 'NGA_3_396', 2019, 0.00068],
['AIDS mortality - Females', 'Rate', 'Females lower estimate', 'All countries', '03M49WLD', 1994, 0.100264]
]
indicator = {}
for row in rows:
if row[0] not in indicator:
indicator[row[0]] = {}
indicator[row[0]][row[2]] = row[-1]
for key, value in indicator.items():
print(key, value)
輸出：
AIDS mortality - Females {'Females estimate': 0.110264, 'Females upper estimate': 0.120264, 'Females lower estimate': 0.100264}
HIV Incidence - males 15-24 {'Males (15-24)': 0.00068}
編輯 - 剛剛注意到示例數據中的第三行有 8 列，而其他有 7 列。您能詳細說明嗎？
添加回答
舉報
0/150
提交
取消