在add_new_urls方法內,是不是應該也判斷下添加的新的urls是否在self.old_urls里面?
for?url?in?urls: ????if?url?not?in?self.old_urls: ????????self.new_urls.add(url)
如果不添加的話,就會重復爬取吧?
for?url?in?urls: ????if?url?not?in?self.old_urls: ????????self.new_urls.add(url)
如果不添加的話,就會重復爬取吧?
2016-01-15
舉報
2016-09-25
add方法好像還會重復的調用前面的add單個的方法。。所以不用擔心
2016-04-24
set會覆蓋原有的相同信息,所以不必擔心
2016-01-17
沒有必要,因為add_new_urls方法里邊又調用到了add方法,判重已經在add中實現了