scrapy 爬蟲怎么在程序里把爬蟲停止
3 回答
森林海
TA貢獻2011條經驗 獲得超2個贊
def __init__(self, crawler): self.crawler = crawler @classmethod def from_crawler(cls, crawler): return cls(crawler) # 結束爬蟲 self.crawler.engine.close_spider(spider, 'closespider') |
上面是實現原理，實際上 scrapy.Spider 已經擁有了 crawler 屬性，不必再像上面這樣寫。
在spider中可直接寫：
| 1 | self.crawler.engine.close_spider(self, 'closespider') |
在 pipeline 和 中間件Middlewares 中：
| 1 | spider.crawler.engine.close_spider(spider, 'closespider') |
添加回答
舉報
0/150
提交
取消