<table id="cfs8n"><label id="cfs8n"></label></table>
<small id="cfs8n"><rp id="cfs8n"></rp></small>
<li id="cfs8n"></li>
課程
/后端開發
/Python
/Python開發簡單爬蟲
有沒有人跟我一樣運行不到最后就卡住的？？這是什么鬼。。。每次爬個幾百個就停住了。。
2016-10-24
源自：Python開發簡單爬蟲 8-1
正在回答
def _get_new_urls(self, curr_url, soup): ? ?new_urls = set() ? ?links = soup.find_all('a', href=re.compile(r"/item/*"))
正則表達式的內容改下就行，網頁格式變了
我就爬了兩個~~~
我第一次爬了1000條，但是再次運行的時候爬了兩條就結束了
可以試試修改一下collect 函數，讓它每次收集數據的時候都寫入文件，而不是像老師一樣最后一次性寫入。
gavin_10
來個多線程
嗯嗯，，有可能啊，感覺程序應該沒什么問題，而且每次卡死的時候爬取的數目也不同，最多一次也能爬取900多個
我感覺是內存的原因吧，數據都在內存保存，最后寫入文件的
舉報
本教程帶您解開python爬蟲這門神奇技術的面紗
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網安備11010802030151號
購課補貼聯系客服咨詢優惠詳情
慕課網APP您的移動學習伙伴
掃描二維碼關注慕課網微信公眾號
<fieldset id="jv4db"></fieldset>
2017-07-27
def _get_new_urls(self, curr_url, soup):
? ?new_urls = set()
? ?links = soup.find_all('a', href=re.compile(r"/item/*"))
正則表達式的內容改下就行，網頁格式變了
2017-03-24
我就爬了兩個~~~
2017-03-20
我第一次爬了1000條，但是再次運行的時候爬了兩條就結束了
2017-02-20
可以試試修改一下collect 函數，讓它每次收集數據的時候都寫入文件，而不是像老師一樣最后一次性寫入。
2016-12-11
來個多線程
2016-11-14
嗯嗯，，有可能啊，感覺程序應該沒什么問題，而且每次卡死的時候爬取的數目也不同，最多一次也能爬取900多個
2016-11-01
我感覺是內存的原因吧，數據都在內存保存，最后寫入文件的