課程
/后端開發
/Python
/Python開發簡單爬蟲
為啥第一個后面的就只有一個failed
2016-01-01
源自:Python開發簡單爬蟲
正在回答
剛看到一個最近的相似的問題-_-||
有可能你的try-except中間的print 'craw %d : %s' %(count, new_url)到except那一塊某個地方使用的代碼打錯了而不是self.urls.has_new_url()==0導致的錯誤,python的百科里面是有別的鏈接的,你可以試著把try-except去掉,讓錯誤直接顯示出來
中間這一塊指的是:
html_cont=self.downloader.download(new_url)new_urls,new_data=self.parser.parse(new_url,html_cont)self.urls.add_new_urls(new_urls)self.outputer.collect_data(new_data)if count==1000: ? ?breakcount=count+1根據錯誤位置設置print 相應的變量查看錯誤原因.
比如說我一開始就是url_manager.py的UrlManager類的add_new_urls方法打錯了,導致的錯誤
你這樣年輕 提問者
舉報
本教程帶您解開python爬蟲這門神奇技術的面紗
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網安備11010802030151號
購課補貼聯系客服咨詢優惠詳情
慕課網APP您的移動學習伙伴
掃描二維碼關注慕課網微信公眾號
2016-02-16
剛看到一個最近的相似的問題-_-||
有可能你的try-except中間的print 'craw %d : %s' %(count, new_url)到except那一塊某個地方使用的代碼打錯了而不是self.urls.has_new_url()==0導致的錯誤,python的百科里面是有別的鏈接的,你可以試著把try-except去掉,讓錯誤直接顯示出來
中間這一塊指的是:
html_cont=self.downloader.download(new_url)
new_urls,new_data=self.parser.parse(new_url,html_cont)
self.urls.add_new_urls(new_urls)
self.outputer.collect_data(new_data)
if count==1000:
? ?break
count=count+1
根據錯誤位置設置print 相應的變量查看錯誤原因.
比如說我一開始就是url_manager.py的UrlManager類的add_new_urls方法打錯了,導致的錯誤