亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

如何把Excel大批量數據去重后準確而快速地導入MySQL?

如何把Excel大批量數據去重后準確而快速地導入MySQL?

夢里花落0921 2019-03-09 15:50:06
問題描述客戶表users有中如下字段:有5個銷售組,每個銷售組每個月至少導入一批10萬條左右的數據到表中,且只能導入自己銷售組的數據同一個銷售組內,狀態正常的客戶(state=0或1)的手機號不可重復,重復的舍棄不同銷售組間,客戶手機號可以重復每個銷售組正常客戶數預估在一千萬內要求準確而快速的導入到users表中自己嘗試過的方法及問題目前是把users表中的數據按銷售組ID同步到redis中,用set集合保存手機號SADD users:1 13100010001 13100010002 13100010003SADD users:2 13100020001 13100020002 13100020003SADD users:3 13100030001 13100030002 13100030003導入時,先把excel表數據按文件ID(這里假設為8)寫入redis,得到set集合mobiles:8再與銷售組原始數據set集合users:1做差集,得到差集diff:1最后把差集寫入mysqlSADD mobiles:8 13100010001 13100010004SDIFFSTORE diff:1 mobiles:8 users:1【問題】 管理端有好幾處地方能增刪改users表,加上未知原因,導致mysql與redis兩邊數據不一致你期待的結果是什么?有無更好的方法,把數據準確而快速地導入到mysql中?
查看完整描述

2 回答

?
江戶川亂折騰

TA貢獻1851條經驗 獲得超5個贊

其實問題主要是redis和mysql數據會出現不一致。如果可以保證一致的話,現在的辦法也是可行的。

如果沒辦法保證,則只能使用mysql驗證手機號是否存在。


查看完整回答
反對 回復 2019-03-09
?
白豬掌柜的

TA貢獻1893條經驗 獲得超10個贊

gid和mobile 唯一索引,然后讀取excel表,直接分批insert 表

查看完整回答
反對 回復 2019-03-09
  • 2 回答
  • 0 關注
  • 1020 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號