問題描述客戶表users有中如下字段:有5個銷售組,每個銷售組每個月至少導入一批10萬條左右的數據到表中,且只能導入自己銷售組的數據同一個銷售組內,狀態正常的客戶(state=0或1)的手機號不可重復,重復的舍棄不同銷售組間,客戶手機號可以重復每個銷售組正常客戶數預估在一千萬內要求準確而快速的導入到users表中自己嘗試過的方法及問題目前是把users表中的數據按銷售組ID同步到redis中,用set集合保存手機號SADD users:1 13100010001 13100010002 13100010003SADD users:2 13100020001 13100020002 13100020003SADD users:3 13100030001 13100030002 13100030003導入時,先把excel表數據按文件ID(這里假設為8)寫入redis,得到set集合mobiles:8再與銷售組原始數據set集合users:1做差集,得到差集diff:1最后把差集寫入mysqlSADD mobiles:8 13100010001 13100010004SDIFFSTORE diff:1 mobiles:8 users:1【問題】 管理端有好幾處地方能增刪改users表,加上未知原因,導致mysql與redis兩邊數據不一致你期待的結果是什么?有無更好的方法,把數據準確而快速地導入到mysql中?
添加回答
舉報
0/150
提交
取消