for?url?in?urls:
????if?url?not?in?self.old_urls:
????????self.new_urls.add(url)如果不添加的話,就會重復爬取吧?
在add_new_urls方法內,是不是應該也判斷下添加的新的urls是否在self.old_urls里面?
weibo_小強同學慢慢走在冷風_0
2016-01-15 17:07:07