亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

網頁抓取程序越來越慢

網頁抓取程序越來越慢

慕田峪9158850 2018-12-11 15:05:33
用winform寫的一個網頁論壇抓取程序,根據選擇的關鍵字和時間對論壇新聞進行篩選,用的多線程,抓取到3萬多條數據后就變的很慢。。幾分鐘還不抓取一個,代碼里應該沒有涉及到死鎖吧,程序還能工作,剛開始抓取的速度也不算慢。線程下只是用了sleep讓耗時的線程讓出時間片,是這個原因還是其他的什么??
查看完整描述

2 回答

?
慕容森

TA貢獻1853條經驗 獲得超18個贊

你要是天天抓的話人家會封你IP的,就搞個單線程抓算了,抓一個sleep 300ms 然后抓的時候定個超時時間,一個抓不到就往下抓

查看完整回答
反對 回復 2018-12-15
?
慕姐4208626

TA貢獻1852條經驗 獲得超7個贊

寫一些日志,看問題出在哪里。

網絡問題?記錄每個線程從抓到解析內容的時間,看是你這邊問題還是他那邊問題。

還是數據庫越來越大了?


查看完整回答
反對 回復 2018-12-15
  • 2 回答
  • 0 關注
  • 504 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號