在add_new_urls方法內，是不是應該也判斷下添加的新的urls是否在self.old_urls里面？
for?url?in?urls: ????if?url?not?in?self.old_urls: ????????self.new_urls.add(url)
如果不添加的話，就會重復爬取吧？
weibo_小強同學慢慢走在冷風_0
2016-01-15
3 回答
舉報
0/150
提交
取消
2016-09-25
add方法好像還會重復的調用前面的add單個的方法。。所以不用擔心
2016-04-24
set會覆蓋原有的相同信息，所以不必擔心
2016-01-17
沒有必要，因為add_new_urls方法里邊又調用到了add方法，判重已經在add中實現了