全量導入oracle的數據會遺漏數據
第一次的時候使用的增量同步,sql為select * from A where A.createTime>:sql_last_value and A.create_time <sysdate order by create_time? ,有分頁,分頁size為10000。整個數據量為800多萬,發現缺少一些數據,沒有找到規律,于是改為全量同步。
第二次使用全量同步,sql為select * from A where A.createTime <某個日期。同樣使用分頁,size為10000,數據量為800多萬。結果少了10000條。發現為某個時間段內的數據缺少,并且索引deleted條數為10000。懷疑分頁導致同步重復數據,并丟失數據
第三次嘗試全量同步,增加排序字段order by create_time,過程耗時很久,一晚上才同步 90萬條,沒有讓他執行完成,不知道結果
請問這是什么原因???
急急急
2022-02-10
那是計算上有誤差吧