亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

網頁抓取程序越來越慢

網頁抓取程序越來越慢

海綿寶寶撒 2018-08-10 06:06:34
用winform寫的一個網頁論壇抓取程序,根據選擇的關鍵字和時間對論壇新聞進行篩選,用的多線程,抓取到3萬多條數據后就變的很慢。。幾分鐘還不抓取一個,代碼里應該沒有涉及到死鎖吧,程序還能工作,剛開始抓取的速度也不算慢。線程下只是用了sleep讓耗時的線程讓出時間片,是這個原因還是其他的什么??
查看完整描述

2 回答

?
慕哥6287543

TA貢獻1831條經驗 獲得超10個贊

你要是天天抓的話人家會封你IP的,就搞個單線程抓算了,抓一個sleep 300ms 然后抓的時候定個超時時間,一個抓不到就往下抓

查看完整回答
反對 回復 2018-08-14
  • 2 回答
  • 0 關注
  • 506 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號