from scrapy import Spiderfrom scrapy.http import Requestclass CourseSpider(Spider): name = 'course' allowed_domains = ['coursera.org'] start_urls = ['https://coursera.org/about/partners'] def parse(self, response): listings = response.xpath('//div[@class="rc-PartnerBox vertical-box"]') for listing in listings: title = listing.xpath('.//div[@class="partner-box-wrapper card-one-clicker flex-1"]/p').extract_first() relative_url = listing.xpath('.//a/@href').extract_first() absolute_url = response.urljoin(relative_url) yield Request(response.urljoin(relative_url), callback = self.parse_listing,meta={'title':title,'absolute_url':absolute_url}) def parse_listing(self,response): titles = response.meta.get('title') absolute_url = response.meta.get('absolute_url') titles_course = response.xpath('//div[@class="name headline-1-text"]/text()').extract() url_link = response.xpath('//div[@class="rc-Course"]/a/@href').extract() abs_url = response.urljoin(url_link) yield {'title':title, 'titles':title, 'absolute_url':absolute_url, 'titles_course':titles_course, 'abs_url':abs_url}但是,在通過 cmd 運行腳本時。我收到錯誤。這些錯誤表明我不能混合 str 和非 str 參數,我對如何處理這個問題感到困惑。任何幫助,將不勝感激。我嘗試添加 extract() 函數,因為它在列表容器上的一些先前的 stackoverflow 問題中被提及以消除該錯誤,但是我的 xpath 沒有獲得所需的輸出。
添加回答
舉報
0/150
提交
取消