1 回答

TA貢獻1833條經驗 獲得超4個贊
ES分頁方案
守則:
禁止使用From/Size
獲取排序數據采用search_after方法,每次只返回排序數據,不返回其他數據,排序數據保存在ES中
分頁搜索采用search_after方法,根據ES排序索引設置搜索起點,每次返回所有數據
優點: 訪問速度最快,理論上是單頁訪問時間秒級,對ES壓力小
缺點:需要單獨一個線程維護排序數據數組,且由于進行排序的索引中ES數據可能被刪除,而ES排序索引的數據還未更新,訪問數據有較低概率出現單頁某條數據被新數據擠出分頁界面的概率,有較低概率會出現前一頁的最后一條數據出現在本頁,本頁的最后一條數據出現在下一頁的情況。
具體實施細節:程序一開始就會在ES中創建一個排序索引,然后采用search_after算法,不斷計算要進行分頁的索引的排序數據,保存在ES中,此程序是循環進行。然后要訪問的時候只需要讀取分頁索引和對應的分頁排序索引的值,就可以得出對應頁的數據。
Restful過程介紹:
獲取排序數據的Restful語句
第一頁:
GET test_delete/_search
{
"size":15,"sort":[ {"randomDouble":"DESC"}, {"randomInt": "DESC"}, {"phone":"DESC"} ],"_source": "{}"
}
獲得最后一項排序數據
第N頁:
GET test_delete/_search
{
"size":15,"sort":[ {"randomDouble":"DESC"}, {"randomInt": "DESC"}, {"phone":"DESC"} ],"search_after":[ 排序數據 ],"_source": "{}"
}
這個過程開一個線程,不斷循環更新排序數據
獲取對應頁數據的Restful語句
第一頁:
GET test_delete/_search
{
"size":15,"sort":[ {"randomDouble":"DESC"}, {"randomInt": "DESC"}, {"phone":"DESC"} ]
}
第N頁:
GET test_delete/_search
{
"size":15,"sort":[ {"randomDouble":"DESC"}, {"randomInt": "DESC"}, {"phone":"DESC"} ],"search_after":[ 排序數據 ],
}
對比獲取排序數據,該restful語句刪除"_source": "{}",以此來獲得該頁所有數據
添加回答
舉報