首頁猿問如何在不使用參數化查詢的情況下將數...

如何在不使用參數化查詢的情況下將數據從 CSV 插入 MySQL？

Python

慕碼人2483693 2023-09-19 13:55:23

我使用巨大的 CSV 數據文件，并計劃在使用 Python 將數據逐行插入 MySQL 之前進行一些檢查。由于數據文件非常大，打開文件需要花費大量時間。因此我的目標是加載它們而不手動分析它們。我將使用 Python 來為我進行分析。我已經開始編寫代碼，但在插入數據時陷入困境。我確信這是一個基本問題，但我無法弄清楚，因為我對 Python 有點陌生。演示數據：id,first_name,last_name,email,boole,coin1,Emilio,Pettie,[email protected],true,1Lj8Z4Em68hwqRAUXZKW7C7h2KgH5cGpTe2,Raynard,Fairholme,[email protected],true,1AEwLuECKYD1Bb6EGaBQC1TJS1mtvHBmy33,Zonda,Bampkin,[email protected],false,14AHvnRjXExdgfqZBnWUyVi7aWZR8SFBoL4,Thurstan,Sherville,[email protected],true,19iiiJ53zxmJnbmW7gKH2hoMwpiaqkit8E5,Jonathan,Jewkes,[email protected],false,18E22TTK68ukQVLWK6oZNfFbzP2uHqaW7o6,Dolores,Carmichael,[email protected],false,15BBePy5J3WY1QQLTjA79iYQMjDRubv2BD7,Kleon,Wesker,[email protected],false,1NfYtAuq6M3cXGhDJuDBnCjdEBRSKsfRVJ8,Laureen,Writtle,[email protected],true,14UgbrWz9wi2UptALs2dFeQRdUiMaLee579,Gypsy,Coombes,[email protected],true,1Hn3JBtjytwbBMVJgM7ixAi1sXf56KFM3R10,Kevina,Boulger,[email protected],false,1GABbcoRTVsX1qzD8uiGtsPtuD1kvzokK1代碼：import stringimport csvimport mysql.connectormydb=mysql.connector.connect(host="localhost",user="root",password="password",autocommit=True)mycursor = mydb.cursor()sql_str=''sql_str1=''mycursor.execute("drop table if exists rd.data")with open(r"C:\Users\rcsid\Documents\Office Programs\Working prog\MOCK_DATA.csv") as csvfile: csv_reader = csv.DictReader(csvfile) line_count = 0 for row in csv_reader: if line_count == 0: sql_str=f'create table rd.data ( {" varchar(50), ".join(row)} varchar(50))' mycursor.execute(sql_str) sql_str1=f'insert into rd.data values ( {", ".join(row)})' print(sql_str1) mycursor.execute(sql_str1) line_count += 1并且插入的數據對于所有值都是空的。您能告訴我如何捕獲 csv 中的數據嗎？我知道這可能是基本語法。我也知道語法cur.execute('INSERT INTO table (columns) VALUES(%s, ....)', row) ，但不想使用它，因為我需要打開文件來檢查標題部分。

查看完整描述

3 回答

搖曳的薔薇

TA貢獻1793條經驗獲得超6個贊

我想不出您不應該使用參數化查詢的充分理由。您已經知道 CSV 標題中的列名稱（并且您可能總是知道這一點，否則您將如何創建表？），那么為什么不按照推薦的方式進行操作呢？當您這樣做時，您已經打開了該文件with open...并使用DictReader.?盡管它不是面向公眾的代碼，但如果 CSV 中存在類似 SQL 注入的元素，您的數據庫可能會崩潰。

DictReader作為字典讀取該行。當您迭代字典時，您得到的是它的鍵而不是它的值。另外，請記住，您想要將它們插入到 varchar 列中，因此您需要將它們括在'

你需要做

col_vals = ", ".join([f"'{v}'" for v in row.values()])

sql_str1=f'insert into rd.data values ({colvals})'

我強烈建議您使用如下參數來執行此操作：

col_names = ",".join(row) # 'id,first_name,last_name,email,boole,coin'

params = ",".join("%s" for x in row) # '%s,%s,%s,%s,%s,%s'

query = f'insert into rd.data ({col_names}) values ({params})'

mycursor.execute(query, row.values())

反對回復 2023-09-19

小怪獸愛吃肉

TA貢獻1852條經驗獲得超1個贊

因為您csv.DictReader可以輕松地從字典鍵中檢索列。事實上，此方法會跳過第一行。此外，請考慮executemany僅對兩個游標調用進行參數化：

with open(r"C:\Path\To\MOCK_DATA.csv") as csvfile:

? ? csv_reader = csv.DictReader(csvfile)

? ? data = [row for row in csv_reader]

? ??

? ? sql1 = f'CREATE TABLE rd.data ( {" VARCHAR(50), ".join(data[0].keys())} VARCHAR(50))'

? ? mycursor.execute(sql1)

? ? mydb.commit()

? ? sql2 = "INSERT INTO rd.data (`{cols}`) VALUES ({prms})"

? ? sql2 = sql2.format(cols="`, `".join(data[0].keys()),?

? ? ? ? ? ? ? ? ? ? ? ?prms=", ".join(['%s'] * len(data[0])))??

? ??

? ? mycursor.executemany(sql2, [list(d.values()) for d in data])

? ? mydb.commit()

Online Demo?（使用 SQLite 但應與 MySQL 保持一致）

反對回復 2023-09-19

慕哥9229398

TA貢獻1877條經驗獲得超6個贊

我能夠使用以下代碼解決該問題：

mycursor.execute("drop table if exists rd.data_with_header")

#r"C:\Users\rcsid\Documents\Office Programs\Working prog\MOCK_DATA.csv"

#re.sub('[^a-zA-Z0-9]\n\.', '_', row)

reader = csv.DictReader(open(r"C:\Users\rcsid\Documents\Office Programs\Working prog\MOCK_DATA.csv",encoding='utf-8',errors='ignore'), delimiter=',')

rowHeaders = reader.fieldnames

print(rowHeaders)

for i in rowHeaders:

field_name.append(re.sub('[^A-Za-z0-9]+', '_', i))

print(field_name)

print(f'''create table rd.data_with_header ( {" varchar(100), ".join(field_name)} varchar(100))''')

sql_str=f'''create table rd.data_with_header ( {" varchar(100), ".join(field_name)} varchar(100))'''

mycursor.execute(sql_str)

for row in reader:

sql_str1=f'''insert into rd.data values ('{"',' ".join(row.values())}')'''

print(sql_str1)

mycursor.execute(sql_str1)

反對回復 2023-09-19

3 回答
0 關注
134 瀏覽

關注

添加回答

舉報

0/150

提交

取消

亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

熱搜

最近搜索清空

如何在不使用參數化查詢的情況下將數據從 CSV 插入 MySQL？

如何在不使用參數化查詢的情況下將數據從 CSV 插入 MySQL？

3 回答

添加回答

如何在不使用參數化查詢的情況下將數據從 CSV 插入 MySQL？