我現在要解析一個800M的文本文件,然后進行數據統計,這個文本文件的格式基本如下[2009-08-14 09:00:36] logtype:[photo] company:[dell] uid[2031][2009-08-14 09:00:37] logtype:[music] company:[dell] uid[2039][2009-08-14 09:00:38] logtype:[music] company:[IBM] uid[2038][2009-08-14 09:00:39] logtype:[music] company:[NOKIA] uid[2059]此數據文件我己經解析到臨時表datatable中我現在要進行排重操作比如我要取company是dell的項,因為其中有兩個,我在進行統計時只統計一次就可以了,在SQL中可以用distinct進行操作我現在的前提是這個文本數據量太大不能插入到數據庫里面,請高手指點如何利用datatable進行排重操作.謝謝!
- 2 回答
- 0 關注
- 260 瀏覽
添加回答
舉報
0/150
提交
取消