亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

elasticsearch 數據量大,如何全表匯總

elasticsearch 數據量大,如何全表匯總

慕森王 2018-07-21 22:17:30
有多個 index,記錄產品數據,每個index近20G大想對這些index每一個做匯總,比如匯總某個index中所有商家統計數據,并保存到新index中,但aggs查詢又無法分頁,我知道還有scroll,scan,但又看到如果scroll查詢中包含聚合,只有最初的查詢結果是聚合結果scan查詢不支持聚合所以,如果我想統計整個index,有什么方案可選?
查看完整描述

1 回答

?
瀟瀟雨雨

TA貢獻1833條經驗 獲得超4個贊

ES分頁方案
守則:

  1. 禁止使用From/Size

  2. 獲取排序數據采用search_after方法,每次只返回排序數據,不返回其他數據,排序數據保存在ES中

  3. 分頁搜索采用search_after方法,根據ES排序索引設置搜索起點,每次返回所有數據

優點: 訪問速度最快,理論上是單頁訪問時間秒級,對ES壓力小
缺點:需要單獨一個線程維護排序數據數組,且由于進行排序的索引中ES數據可能被刪除,而ES排序索引的數據還未更新,訪問數據有較低概率出現單頁某條數據被新數據擠出分頁界面的概率,有較低概率會出現前一頁的最后一條數據出現在本頁,本頁的最后一條數據出現在下一頁的情況。
具體實施細節:程序一開始就會在ES中創建一個排序索引,然后采用search_after算法,不斷計算要進行分頁的索引的排序數據,保存在ES中,此程序是循環進行。然后要訪問的時候只需要讀取分頁索引和對應的分頁排序索引的值,就可以得出對應頁的數據。

Restful過程介紹:

  1. 獲取排序數據的Restful語句

第一頁:
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
],"_source": "{}"

}
獲得最后一項排序數據
第N頁:
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
],"search_after":[
      排序數據
    ],"_source": "{}"

}
這個過程開一個線程,不斷循環更新排序數據

  1. 獲取對應頁數據的Restful語句

第一頁:
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
]

}
第N頁:
GET test_delete/_search
{

"size":15,"sort":[
  {"randomDouble":"DESC"},
  {"randomInt": "DESC"},
  {"phone":"DESC"}
],"search_after":[
      排序數據
    ],

}
對比獲取排序數據,該restful語句刪除"_source": "{}",以此來獲得該頁所有數據


查看完整回答
反對 回復 2018-07-28
  • 1 回答
  • 0 關注
  • 1784 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號