亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

Python爬蟲程序運行“卡頓”

Python爬蟲程序運行“卡頓”

婷婷同學_ 2018-10-05 15:11:14
用Python爬取某網站兩個月的數據,程序“卡頓”,但并未報錯,也未結束。如上圖所示。例如,我把時間循環設置為2016.8.1--2016.10.1,抓取到數據的就只能到2016.9.4,然后程序也沒運行結束,但數據庫也一直沒有更多的數據進入。出現“卡頓”。然后我換了臺配置更好的電腦,情況會好很多,可以抓取半年的數據。本來我想抓一年的數據,但抓取到半年的數據的數據后,也會出現如圖所示的情況,并且數據庫也一直未添加更多的數據。即“卡頓”。我想知道有沒有辦法能夠一次抓取的數據多點??
查看完整描述

2 回答

?
皈依舞

TA貢獻1851條經驗 獲得超3個贊

可以使用多線程,每個線程處理一個月的數據,這樣即使哪個月的數據出了問題依然能夠保證大多數數據的完整性,然后具體分析出問題的月份的數據的情況。

查看完整回答
反對 回復 2018-10-14
?
MMTTMM

TA貢獻1869條經驗 獲得超4個贊

出現阻塞的原因是什么呢?你可以通過以下方式分析:

1,抓包分析,是不是網絡原因;
2,你寫的爬蟲是用什么框架,是urllib2還是scrapy框架,查看日志情況。
3,查看是否是url池已經處理完,沒有新的目標任務添加到爬取隊列。


查看完整回答
反對 回復 2018-10-14
  • 2 回答
  • 0 關注
  • 1685 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號