Presto集群如何配置最佳的節點查詢內存參數
叁金老師,各位小伙伴好,
????最近工作中剛好在進行presto的poc測試,搭建的Presto集群,1個coordinator節點和2個woker節點(均4核32G),連接Hive數據源,然后count(1)一張1.4億的數據量的表,查詢時間為27s,后來有引入了2個相同配置的worker節點,稍微改動了一下節點查詢內存參數,再進行相同查詢時,結果和2個worker的集群的查詢時間差不多,并沒有很大幅度的降低查詢時間,請問叁金老師和各位小伙伴,在集群的最大內存參數設置上有沒有什么好的經驗可共享?以使集權發揮最大效果,希望能通大家溝通、交流和學習,謝謝? 。
jvm.propertis文件中的-Xmx**G參數
config.properties文件中的?
query.max-memory=**GB
query.max-memory-per-node=*GB
query.max-total-memory-per-node=*GB
2019-07-29
參考手記:http://www.xianlaiwan.cn/article/289836