亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

c#解析海量數據文本排重問題(求助高手幫忙)

c#解析海量數據文本排重問題(求助高手幫忙)

皈依舞 2018-10-25 05:06:13
我現在要解析一個800M的文本文件,然后進行數據統計,這個文本文件的格式基本如下[2009-08-14 09:00:36] logtype:[photo] company:[dell] uid[2031][2009-08-14 09:00:37] logtype:[music] company:[dell] uid[2039][2009-08-14 09:00:38] logtype:[music] company:[IBM] uid[2038][2009-08-14 09:00:39] logtype:[music] company:[NOKIA] uid[2059]此數據文件我己經解析到臨時表datatable中我現在要進行排重操作比如我要取company是dell的項,因為其中有兩個,我在進行統計時只統計一次就可以了,在SQL中可以用distinct進行操作我現在的前提是這個文本數據量太大不能插入到數據庫里面,請高手指點如何利用datatable進行排重操作.謝謝!
查看完整描述

2 回答

?
絕地無雙

TA貢獻1946條經驗 獲得超4個贊

海量”已經那么不值錢了啊。

你既然選擇讀到內存中,為啥要用DataTable,讀成對象,然后LINQ咯。


查看完整回答
反對 回復 2018-10-31
?
翻過高山走不出你

TA貢獻1875條經驗 獲得超3個贊

如果只是統計一下有多少家公司,我覺得不需要將數據放數據庫,只需要用i/o操作讀文件,一次讀一行,然后分析每一條記錄的company的值,存入到一個ArrayList中,就能實現統計公司數量了。至于怎么分析每一條記錄,可以用正則來實現。

查看完整回答
反對 回復 2018-10-31
  • 2 回答
  • 0 關注
  • 260 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號