亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

求大神??!

為什么我的代碼只能爬一條數據?求大神指導

while self.urls.has_new_url():

? ? ? ? ? ? try:

? ? ? ? ? ? ? ? new_url = self.urls.get_new_url() ? #獲取到待爬取的url

? ? ? ? ? ? ? ? print ('craw %d : %s' %(count,new_url))

? ? ? ? ? ? ? ? html_cont = self.downloader.download(new_url) ?#啟動下載器下載這個頁面

? ? ? ? ? ? ? ? new_urls , new_data = self.parser.parse(new_url ,html_cont) ?#解析器獲取新的url和數據

? ? ? ? ? ? ? ? self.urls.add_new_urls(new_urls) ?#將新的url補充到新的url管理器

? ? ? ? ? ? ? ? self.outputer.collect_data(new_data) #進行數據的收集

? ? ? ? ? ? ? ? count = count + 1

? ? ? ? ? ? ? ? if(count == 100):

? ? ? ? ? ? ? ? ? ? break

? ? ? ? ? ??

? ? ? ?

? ? ? ? ? ? ? ? # ? print(count)

? ? ? ? ? ? except: ? ? ? ? ? ? #異常處理

? ? ? ? ? ? ? ? print ('craw failed~')

?我在測試has_new_url()循環第二次的時候has_new_url的值為0 不知道為什么


正在回答

1 回答

解析錯誤吧,re.compile(r'/item/')

0 回復 有任何疑惑可以回復我~

舉報

0/150
提交
取消
Python開發簡單爬蟲
  • 參與學習       227596    人
  • 解答問題       1288    個

本教程帶您解開python爬蟲這門神奇技術的面紗

進入課程

求大神?。?/h1> 我要回答 關注問題

微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號