已解決430363個問題，去搜搜看，總會有你想問的

從100萬行log記錄中篩選有價值的信息

關注

首頁猿問從100萬行log記錄中篩選有價值的信息

從100萬行log記錄中篩選有價值的信息

Java

翻閱古今 2019-03-15 15:15:20

問題：從100萬行log記錄中篩選有價值的信息，需要用到什么知識？是大數據么？具體是大數據的哪部分知識？把他們篩選出來，用什么工具？對它們分析，用什么工具？想自學這方面的東西，希望懂的人給個指點。多謝~~

查看完整描述

3 回答

慕容708150

TA貢獻1831條經驗獲得超4個贊

100萬行正常的日志，真的不大，grep即可

反對回復 2019-04-18

MMMHUHU

TA貢獻1834條經驗獲得超8個贊

我在這兒說一下，大數據不僅僅是數據量大，況且你的數據量也不大。無論是互聯網時代還是大數據時代，技術永遠是工具，去更好幫助人們解決生活社會問題的工具。就目前而言面對大量的數據，我認為我們可以做兩件事，一，目標明確的查詢檢索，那可能會用到hadoop或者spark這些分布式運算引擎幫你快速計算出你要的結果；二，挖掘潛在價值，也就是你說的”篩選有價值的信息“，這可能需要機器學習算法，那么你得根據業務建模，然后把多維度，大量的數據導入訓練。簡單如上，如果像進一步學習可以相互交流。

反對回復 2019-04-18

3 回答
0 關注
749 瀏覽

關注

添加回答

舉報

0/150

提交

取消

亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

熱搜

最近搜索清空

從100萬行log記錄中篩選有價值的信息

從100萬行log記錄中篩選有價值的信息

3 回答

添加回答