? ? ? ? ? ?try:

? ? ? ? ? ? ? ? new_url = self.urls.get_new_url()

? ? ? ? ? ? ? ? print 'craw %d : %S'%(count,new_url)

? ? ? ? ? ? ? ? html_count = self.downloader.download(new_url)

? ? ? ? ? ? ? ? new_urls,new_data = self.parser.parse(new_url,html_count)

? ? ? ? ? ? ? ? self.urls.add_new_urls(new_urls)

? ? ? ? ? ? ? ? self.outputer.collect_data(new_data)

? ? ? ? ? ??

? ? ? ? ? ? ? ? if count == 1000:

? ? ? ? ? ? ? ? ? ? break

? ? ? ? ? ??

? ? ? ? ? ? ? ? count = count + 1

? ? ? ? ? ? except:

? ? ? ? ? ? ? ? print 'craw failed'