亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

scrapy+selenium 一旦我完成一個頁面列表,如何抓取不同的頁面列表?

scrapy+selenium 一旦我完成一個頁面列表,如何抓取不同的頁面列表?

胡說叔叔 2023-07-11 14:38:01
我正在嘗試從“操作/用戶交易”網站上抓取數據,它是意大利語,所以我會盡力盡可能清楚。我對 Python 和 Scrapy 也很陌生,這是我的第一個項目。該網站沒有一個簡單的方法來跟蹤鏈接,所以我不得不想出一些東西。首先,我進入總列表,其中列出了所有頁面,這非常簡單,因為第一頁是“https://www.subito.it/annunci-italia/vendita/usato/?o=1”,然后進入在“/?o=218776”上,我選擇頁面的第一個鏈接并用硒打開它,一旦在這里我得到了我需要的數據并單擊“下一頁”按鈕,但這是棘手的部分。如果我使用相同的 URL 進入同一頁面,則沒有“下一頁”按鈕,只有當您位于列表頁面的第一個頁面,然后單擊頁面鏈接時,它才起作用,從這里您現在可以點擊其他鏈接。我以為它會完成,但我錯了。一般列表分為頁面(.../?o=1、.../?o=2 等),每個頁面有 X 個鏈接(我沒有數過),當您打開時拍賣頁面之一(來自列表頁面,因此您可以使用“下一頁”按鈕),然后單擊“下一頁”,然后按照總列表中的鏈接順序進行操作。更清楚地說,如果總列表有 200k 頁,每頁有 50 個鏈接,當您單擊該頁的第一個鏈接時,您可以單擊“下一頁”49 次,之后“下一頁”按鈕將處于非活動狀態并且您無法轉到較舊的鏈接,您必須返回列表并轉到下一頁,然后重復該過程。但是我錯了。一般列表分為頁面(.../?o=1、.../?o=2 等),每個頁面有 X 個鏈接(我沒有數過),當您打開時拍賣頁面之一(來自列表頁面,因此您可以使用“下一頁”按鈕),然后單擊“下一頁”,然后按照總列表中的鏈接順序進行操作。更清楚地說,如果總列表有 200k 頁,每頁有 50 個鏈接,當您單擊該頁的第一個鏈接時,您可以單擊“下一頁”49 次,之后“下一頁”按鈕將處于非活動狀態并且您無法轉到較舊的鏈接,您必須返回列表并轉到下一頁,然后重復該過程。但是我錯了。一般列表分為頁面(.../?o=1、.../?o=2 等),每個頁面有 X 個鏈接(我沒有數過),當您打開時拍賣頁面之一(來自列表頁面,因此您可以使用“下一頁”按鈕),然后單擊“下一頁”,然后按照總列表中的鏈接順序進行操作。更清楚地說,如果總列表有 200k 頁,每頁有 50 個鏈接,當您單擊該頁的第一個鏈接時,您可以單擊“下一頁”49 次,之后“下一頁”按鈕將處于非活動狀態并且您無法轉到較舊的鏈接,您必須返回列表并轉到下一頁,然后重復該過程。當您進入拍賣頁面之一(來自列表頁面,因此您可以使用“下一頁”按鈕)并單擊“下一頁”時,您將按照總列表中的鏈接順序進行操作。更清楚地說,如果總列表有 200k 頁,每頁有 50 個鏈接,當您單擊該頁的第一個鏈接時,您可以單擊“下一頁”49 次,之后“下一頁”按鈕將處于非活動狀態并且您無法轉到較舊的鏈接,您必須返回列表并轉到下一頁,然后重復該過程。當您進入拍賣頁面之一(來自列表頁面,因此您可以使用“下一頁”按鈕)并單擊“下一頁”時,您將按照總列表中的鏈接順序進行操作。更清楚地說,如果總列表有 200k 頁,每頁有 50 個鏈接,當您單擊該頁的第一個鏈接時,您可以單擊“下一頁”49 次,之后“下一頁”按鈕將處于非活動狀態并且您無法轉到較舊的鏈接,您必須返回列表并轉到下一頁,然后重復該過程。
查看完整描述

1 回答

?
楊魅力

TA貢獻1811條經驗 獲得超6個贊

可以通過覆蓋start_requests方法在頁面上進行迭代。為了達到這個目的,你需要編寫一個循環來請求所有(在本例中為219xxx)頁面并提取第二層頁面href。


def start_requests(self):

     pages_count = 1 # in this method you need to hard code your pages quantity

     for i in range(pages_count)

          url = 'https://www.subito.it/annunci-italia/vendita/usato/?o=%s' % str(i + 1)

          scrapy.Request(url, callback=self.parse)

或者以更好的方式 slso 找出第一層中有多少頁,該層始終位于最后一個class="unselected-page"元素中,以便您可以使用 找到它response.xpath('//*[@class="unselected-page"]//text()').getall()[-1] 。在這種情況下,您需要在第一種parse方法中發出對第一層頁面的請求。


def start_requests(self):

     base_url = 'https://www.subito.it/annunci-italia/vendita/usato'

     scrapy.Request(base_url, callback=self.parse_first_layer)


def parse_first_layer(self, response):

     pages_count = int(response.xpath('//*[@class="unselected-page"]//text()').getall()[-1])

     for i in range(pages_count)

          url = 'https://www.subito.it/annunci-italia/vendita/usato/?o=%s' % str(i + 1)

          scrapy.Request(url, callback=self.parse_second_layer)

到達第一層鏈接后,您可以像以前一樣在每個頁面中迭代 50 多個鏈接。


查看完整回答
反對 回復 2023-07-11
  • 1 回答
  • 0 關注
  • 126 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號