我已經構建了多個爬蟲并希望使用CrawlerProcess. 但是，在構建蜘蛛時，我對其進行了設置，因此它們的運行速度會稍慢一些，并且有下載延遲。單獨運行蜘蛛時，設置工作正常，但是當我運行所有四個蜘蛛時，它的爬行速度非?？欤恍┱军c將我踢出網絡。我想知道的是為什么不CrawlerProcess遵循設置，如果有辦法實現這一點，我該如何實現。這是我如何設置它：TMP_FILE = os.path.join(os.path.dirname(sys.modules['items'].__file__), 'tmp/items.csv')process = CrawlerProcess({'FEED_FORMAT': 'csv','FEED_URI': TMP_FILE,})process.crawl(Spider1)process.crawl(Spider2)process.crawl(Spider3)process.crawl(Spider4)process.start()