我正在嘗試從“操作/用戶交易”網站上抓取數據，它是意大利語，所以我會盡力盡可能清楚。我對 Python 和 Scrapy 也很陌生，這是我的第一個項目。該網站沒有一個簡單的方法來跟蹤鏈接，所以我不得不想出一些東西。首先，我進入總列表，其中列出了所有頁面，這非常簡單，因為第一頁是“https://www.subito.it/annunci-italia/vendita/usato/?o=1”，然后進入在“/?o=218776”上，我選擇頁面的第一個鏈接并用硒打開它，一旦在這里我得到了我需要的數據并單擊“下一頁”按鈕，但這是棘手的部分。如果我使用相同的 URL 進入同一頁面，則沒有“下一頁”按鈕，只有當您位于列表頁面的第一個頁面，然后單擊頁面鏈接時，它才起作用，從這里您現在可以點擊其他鏈接。我以為它會完成，但我錯了。一般列表分為頁面（.../?o=1、.../?o=2 等），每個頁面有 X 個鏈接（我沒有數過），當您打開時拍賣頁面之一（來自列表頁面，因此您可以使用“下一頁”按鈕），然后單擊“下一頁”，然后按照總列表中的鏈接順序進行操作。更清楚地說，如果總列表有 200k 頁，每頁有 50 個鏈接，當您單擊該頁的第一個鏈接時，您可以單擊“下一頁”49 次，之后“下一頁”按鈕將處于非活動狀態并且您無法轉到較舊的鏈接，您必須返回列表并轉到下一頁，然后重復該過程。但是我錯了。一般列表分為頁面（.../?o=1、.../?o=2 等），每個頁面有 X 個鏈接（我沒有數過），當您打開時拍賣頁面之一（來自列表頁面，因此您可以使用“下一頁”按鈕），然后單擊“下一頁”，然后按照總列表中的鏈接順序進行操作。更清楚地說，如果總列表有 200k 頁，每頁有 50 個鏈接，當您單擊該頁的第一個鏈接時，您可以單擊“下一頁”49 次，之后“下一頁”按鈕將處于非活動狀態并且您無法轉到較舊的鏈接，您必須返回列表并轉到下一頁，然后重復該過程。但是我錯了。一般列表分為頁面（.../?o=1、.../?o=2 等），每個頁面有 X 個鏈接（我沒有數過），當您打開時拍賣頁面之一（來自列表頁面，因此您可以使用“下一頁”按鈕），然后單擊“下一頁”，然后按照總列表中的鏈接順序進行操作。更清楚地說，如果總列表有 200k 頁，每頁有 50 個鏈接，當您單擊該頁的第一個鏈接時，您可以單擊“下一頁”49 次，之后“下一頁”按鈕將處于非活動狀態并且您無法轉到較舊的鏈接，您必須返回列表并轉到下一頁，然后重復該過程。當您進入拍賣頁面之一（來自列表頁面，因此您可以使用“下一頁”按鈕）并單擊“下一頁”時，您將按照總列表中的鏈接順序進行操作。更清楚地說，如果總列表有 200k 頁，每頁有 50 個鏈接，當您單擊該頁的第一個鏈接時，您可以單擊“下一頁”49 次，之后“下一頁”按鈕將處于非活動狀態并且您無法轉到較舊的鏈接，您必須返回列表并轉到下一頁，然后重復該過程。當您進入拍賣頁面之一（來自列表頁面，因此您可以使用“下一頁”按鈕）并單擊“下一頁”時，您將按照總列表中的鏈接順序進行操作。更清楚地說，如果總列表有 200k 頁，每頁有 50 個鏈接，當您單擊該頁的第一個鏈接時，您可以單擊“下一頁”49 次，之后“下一頁”按鈕將處于非活動狀態并且您無法轉到較舊的鏈接，您必須返回列表并轉到下一頁，然后重復該過程。