中間數據存儲在map中，數據量大能能解決嗎？
比如reduce階段計算得到了<主播id,主播的時長>。然后放在map中。
如果主播id很多，map中放不下，怎么辦？
慕尼黑1234676
2020-03-20
1 回答
舉報
0/150
提交
取消
2020-03-21
可以有這些方案
1：如果內存中存放下，可以考慮增加這個任務的內存
2：或者可以考慮外部存儲，例如：redis，把這些數據存放到redis中，這樣針對一些需要在內存中產生很多中間臨時結果的場景也是很適用的