關于排序文件大小與程序內存大小的問題
有一點沒有想明白，從程序的結構來看是將800M的數據都讀到內存里才進行的排序，如果數據再大呢？會不會因為數據量大的原因導致程序崩潰呢，還是我有什么理解不對的地方，請老師解惑。
1 回答
舉報
0/150
提交
取消
有一點沒有想明白，從程序的結構來看是將800M的數據都讀到內存里才進行的排序，如果數據再大呢？會不會因為數據量大的原因導致程序崩潰呢，還是我有什么理解不對的地方，請老師解惑。
2019-11-07
舉報
2020-01-20
如果你單機跑整個程序（你的機器內存8G，但你需要派排序的文件8.5G）這樣子會導致程序因為內存空間不足導致panic，因此通過分片（分塊）的方法，將大文件分子別在不同的機器上面進行處理，最終再由一個機器分別匯總結果并輸出到文件。