亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

大數據運行在內存中產生的中間數據一般有多大?

大數據運行在內存中產生的中間數據一般有多大?

瀟湘沐 2018-06-25 14:38:17
在linux系統上,大數據運行在內存中產生的中間數據一般有多大?最大會達到1個T嗎?一般最大值控制在什么范圍合適?望各位有經驗的大佬不吝賜教!
查看完整描述

2 回答

?
萬千封印

TA貢獻1891條經驗 獲得超3個贊

運行內存是可以設置的,以運行一個spark作業為例,提交作業時可以執行本次作業所需要的總共cpu核心數和總共的內存數,作業提交后spark 的 sparkContext 會向集群申請分配資源,集群會最大限度的提供資源,當然也存在申請90核心,集群只分配了70核心的情況。所以大數據運算的內存控制主要是看你的集群有多少資源,你愿意使用多少資源。

查看完整回答
反對 回復 2018-07-13
?
不負相思意

TA貢獻1777條經驗 獲得超10個贊

一般沒人會把數據一直存放在內存吧,比如說hbase在實時寫入數據的時候,會先寫到內存中,當內存中的數據達到一定大小(比如說配置為4G),會把數據刷寫到HFile文件并保存到HDFS中。

查看完整回答
反對 回復 2018-07-13
  • 2 回答
  • 0 關注
  • 648 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號