亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

一個關于多進程分塊讀寫大文件的問題

一個關于多進程分塊讀寫大文件的問題

眼眸繁星 2019-04-07 09:38:23
問題是這樣的:有一個比較大的文件file1,它的內容格式是一行一行的,比如1|123|abc2|212|lca3|123|asdxxx現在,我想用多個進程同時分塊讀取文件,分別處理。那么怎么做才能保證每個進程分到的塊正好是完整的一行。剛剛接觸這一塊的東西,還望指導。
查看完整描述

2 回答

?
德瑪西亞99

TA貢獻1770條經驗 獲得超3個贊

如果是為了提高效率,分進程讀是沒有什么意義的,因為這個快不快主要取決于磁盤的IO,如果你為了分行還需要進行特殊處理的話,不可避免的大量隨機讀。還不如用一個進程順序讀入,然后切割分給n個進程進行處理。說實話如果處理邏輯不是很復雜的話,提高IO的效率比搞幾個進程好。提高IO的效率還是多用用操作系統的特性吧。`
                            
查看完整回答
反對 回復 2019-04-07
?
互換的青春

TA貢獻1797條經驗 獲得超6個贊

分塊后,除了第一個進程外,其它進程從中間某個地方向后讀到換行符,然后再一行行地讀并處理。
不過,你的文件存儲在什么設備上?你是處理每一行數據會花很多時間,還是覺得多進程讀同一文件會比單進程更快?
                            
查看完整回答
反對 回復 2019-04-07
  • 2 回答
  • 0 關注
  • 632 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號