亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

使用pandas和GNU Parallel將數據并行導入MySQL

使用pandas和GNU Parallel將數據并行導入MySQL

肥皂起泡泡 2021-10-10 16:24:26
我有幾千個目錄,我想從中將數據導入 MySQL。我創建了一個 python 腳本,它從單個目錄中讀取數據并將其放入數據庫。這是將數據發送到數據庫的部分:host = 'localhost'engine = create_engine('mysql://user:pass@%s/db?charset=utf8' % host)conn = engine.connect()trans = conn.begin()try:    conn.execute('delete from tests where ml="%s"' % ml)    tests.to_sql(con=conn, name='tests', if_exists='append', index=False)    data.to_sql(con=conn, name='data', if_exists='append', index=False)    trans.commit()    print(CGRE + ml + ': OK' + CEND)except:    trans.rollback()    print(CRED + ml + ': database error!' + CEND)    raiseconn.close()單線程執行效果很好,但速度太慢:parallel -j 1 "[[ -d {} ]] && (cd {} && data_to_db.py) || echo {} >> ~/Data/failed_db" ::: *現在我想啟動幾個進程:parallel -j 8 .........有時在執行過程中我會收到此錯誤:sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1213, '嘗試獲取鎖時發現死鎖;嘗試重新啟動事務')有沒有辦法增加事務的等待時間或以其他方式解決它,因為沒有并行執行,導入所有數據的時間太長?
查看完整描述

1 回答

  • 1 回答
  • 0 關注
  • 234 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號