首頁猿問如何將兩只蜘蛛合二為一？

如何將兩只蜘蛛合二為一？

Python

慕碼人8056858 2021-12-08 10:22:19

有兩個蜘蛛使用相同的資源文件和幾乎相同的結構。SpiderA 包含：import scrapyimport pkgutilclass StockSpider(scrapy.Spider): name = "spiderA" data = pkgutil.get_data("tutorial", "resources/webs.txt") data = data.decode() urls = data.split("\r\n") start_urls = [url + "string1" for url in urls] def parse(self, response): passSpiderB 包含：import scrapyimport pkgutilclass StockSpider(scrapy.Spider): name = "spiderB" data = pkgutil.get_data("tutorial", "resources/webs.txt") data = data.decode() urls = data.split("\r\n") start_urls = [url + "string2" for url in urls] def parse(self, response): pass如何結合spiderA和spiderB，并添加一個開關變量來crapy scral根據我的需要調用不同的spider？

查看完整描述

2 回答

ITMISS

TA貢獻1871條經驗獲得超8個贊

嘗試為蜘蛛類型添加單獨的參數。您可以通過調用來設置它scrapy crawl myspider -a spider_type=second。檢查此代碼示例：

import scrapy

import pkgutil

class StockSpider(scrapy.Spider):

name = "myspider"

def start_requests(self):

if not hasattr(self, 'spider_type'):

self.logger.error('No spider_type specified')

return

data = pkgutil.get_data("tutorial", "resources/webs.txt")

data = data.decode()

for url in data.split("\r\n"):

if self.spider_type == 'first':

url += 'first'

if self.spider_type == 'second':

url += 'second'

yield scrapy.Request(url)

def parse(self, response):

pass

而且您始終可以創建基主類，然后從它繼承，僅重載一個變量（添加到 url）和名稱（用于單獨調用）。

反對回復 2021-12-08

HUX布斯

TA貢獻1876條經驗獲得超6個贊

spider_type 導致錯誤

NameError: name 'spider_type' is not defined.

它是蜘蛛類中的 self.spider_type。

import scrapy

import pkgutil

class StockSpider(scrapy.Spider):

name = "myspider"

def start_requests(self):

if not hasattr(self, 'spider_type'):

self.logger.error('No spider_type specified')

return

data = pkgutil.get_data("tutorial", "resources/webs.txt")

data = data.decode()

for url in data.split("\r\n"):

if self.spider_type == 'first':

url += 'first'

if self.spider_type == 'second':

url += 'second'

yield scrapy.Request(url)

def parse(self, response):

pass

使其更加嚴格和準確。

scrapy crawl myspider -a spider_type='second'

反對回復 2021-12-08

2 回答
0 關注
198 瀏覽

關注

添加回答

舉報

0/150

提交

取消

亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

熱搜

最近搜索清空

如何將兩只蜘蛛合二為一？

如何將兩只蜘蛛合二為一？

2 回答

添加回答

如何將兩只蜘蛛合二為一？

如何將兩只蜘蛛合二為一？