我們沒有在我們的 presto workers 中配置參數 -query.max-memory-per-node從日志看來，值query.max-memory-per-node是自動設置的grep?-r?"query.max-memory-per-node"??/presto/data/var/log/server.log
2019-08-08T14:25:03.840Z????INFO????main????Bootstrap???????query.max-memory-per-node??????????????????????????????4402341478.40B我的問題我們需要設置query.max-memory-per-nodein嗎config.properties?？或 , 的值query.max-memory-per-node將由 presto 設置但正如我們從日志中看到的那樣，presto set only -?4402341478.40B(幾千兆字節) ，所以這是小尺寸當查詢需要更多內存時，查詢可能會崩潰請您的意見，我們是否需要設置參數?query.max-memory-per-node?- 在config.properties為了將更高的值設置為20-30 GIGA
1 回答
呼啦一陣風
TA貢獻1802條經驗 獲得超6個贊
默認為query.max-memory-per-node可用堆內存的 10%。此屬性的默認值在此處設置：
IIRC 我們設置了默認值，因此您可以在集群中運行一些大型查詢。僅從這個值并不清楚確切的數字。如果您查看上面鏈接的文件中的配置，您會看到系統首先為“未計算的內存分配”保留 30% 的堆，因為 Presto 不會跟蹤所有分配。那么這query.max-memory-per-node只是對“用戶”內存的限制，這是由查詢作者控制的內存，例如group by哈希join表。此值不包括由 Presto 自動管理的輸入和輸出緩沖區。
將所有這些放在一起，我希望使用默認值可以在代碼上同時運行 3-5 個大型查詢。
至于你想如何設置這些，這真的取決于你的工作量。如果您希望有一個大的混合工作負載，默認值可能適合您。如果您希望能夠將整個集群專用于單個工作人員，您可以將值增加到接近堆大?。ù_保為未跟蹤的分配留出空間）。
添加回答
舉報
0/150
提交
取消