假設我們有一個 100k 行或約 2gB 的文件，我們希望將它分成 10 個塊，每個塊 10k 行，以便可以并行處理這些塊。有什么方法可以在 10 個塊的每一個的起始行中創建指針，而無需遍歷整個文件？我正在考慮以某種方式根據文件大小劃分文件，以便每 200mB 創建指針。這甚至可行嗎？
1 回答
呼喚遠方
TA貢獻1856條經驗 獲得超11個贊
是的當然。但是您需要做出一些假設并接受您的塊將不準確。
要么假設標準線長，要么掃描幾條線并測量它。然后你將它乘以你想要的行數，并希望這是一個很好的估計。
或者，如果您只想要 10 個塊，則取文件大小并除以 10。
因此，您可以使用 lseek 和 read、pread 或 mmap 跳轉到文件中的那個點。然后向前掃描，直到找到一行的結尾和下一行的開頭。
除非您實際計算每一行，否則它不會是精確的行數。但它會非常接近。
我很無聊和好奇，所以看看這個：
https ://github.com/zlynx/linesection
- 1 回答
- 0 關注
- 161 瀏覽
添加回答
舉報
0/150
提交
取消