亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

在add_new_urls方法內,是不是應該也判斷下添加的新的urls是否在self.old_urls里面?

for?url?in?urls:
????if?url?not?in?self.old_urls:
????????self.new_urls.add(url)

如果不添加的話,就會重復爬取吧?

正在回答

3 回答

add方法好像還會重復的調用前面的add單個的方法。。所以不用擔心

0 回復 有任何疑惑可以回復我~

set會覆蓋原有的相同信息,所以不必擔心

0 回復 有任何疑惑可以回復我~

沒有必要,因為add_new_urls方法里邊又調用到了add方法,判重已經在add中實現了

1 回復 有任何疑惑可以回復我~
#1

慕移動2445652

可是為什么add_new_urls方法里 的add方法會和add_new_urls方法里 的add方法具有一樣的功能?
2017-01-31 回復 有任何疑惑可以回復我~
#2

慕移動2445652 回復 慕移動2445652

不好意思看錯代碼了,現在懂了~~~
2017-01-31 回復 有任何疑惑可以回復我~

舉報

0/150
提交
取消
Python開發簡單爬蟲
  • 參與學習       227596    人
  • 解答問題       1288    個

本教程帶您解開python爬蟲這門神奇技術的面紗

進入課程

在add_new_urls方法內,是不是應該也判斷下添加的新的urls是否在self.old_urls里面?

我要回答 關注問題
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號