已解決430363個問題，去搜搜看，總會有你想問的

如何高效安全地從一個大文件中截取部分信息

首頁猿問如何高效安全地從一個大文件中截取部分信息

如何高效安全地從一個大文件中截取部分信息

JavaScript

慕桂英546537 2019-04-23 15:18:08

下午的時候有個同學問：他們服務器有一個5G的日志文件，如何從中截取出10.5-11.18的日志另一個文件日志文件有規范的時期格式，類似于web服務器日志。相關問題：對于catgrep這類linux命令，如果操作一個大文件會不會占用很大的內存？

查看完整描述

2 回答

四季花海

TA貢獻1811條經驗獲得超5個贊

用sed好了，sed是按行處理的，不會將整個文件加載到內存中，可以放心使用要切出從2012-02-09到2012-09-10的所有數據行，（假設你的日志文件以yyyy-MM-dd的日期格式開頭）只需要：sed-n'/^2012-02-09/,/^2012-09-10/p'whole.log>part.log

反對回復 2019-04-23

www說

TA貢獻1775條經驗獲得超8個贊

無論怎么樣你都必須使用某一個程序把這個文件讀出來，并且用一定的規則來加以過濾。在Linux中，使用cat和grep對文件進行操作已經可以說是最經濟合理的了。占用一定的系統資源是肯定的，具體的話跟你使用的cat，grep以及linux內核都有一定關系，所以可能會略有不同。一般不要在系統里出現那么大的日志文件，最好在一開始就做好日志的大小限制以及合理的日志轉儲和備份。

反對回復 2019-04-23

2 回答
0 關注
391 瀏覽

關注

添加回答

舉報

0/150

提交

取消

亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

熱搜

最近搜索清空

如何高效安全地從一個大文件中截取部分信息

如何高效安全地從一個大文件中截取部分信息

2 回答

添加回答