我試圖在https://shopee.co.id/top_products上抓取頂級產品的銷售和類別。但是我被困在如何自動化導航欄上的每個頁面上。特別是有一個擴展列表，我無法通過查看 html 代碼來弄清楚如何進入該列表。這是網絡圖片和我的一些代碼：from selenium import webdriverfrom bs4 import BeautifulSoup as bsheaders = { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36', 'cookie': '_gcl_au=1.1.961206468.1594951946; _med=refer; _fbp=fb.2.1594951949275.1940955365; SPC_IA=-1; SPC_F=y1evilme0ImdfEmNWEc08bul3d8toc33; REC_T_ID=fab983c8-c7d2-11ea-a977-ccbbfe23657a; SPC_SI=uv1y64sfvhx3w6dir503ixw89ve2ixt4; _gid=GA1.3.413262278.1594951963; SPC_U=286107140; SPC_EC=GwoQmu7TiknULYXKODlEi5vEgjawyqNcpIWQjoxjQEW2yJ3H/jsB1Pw9iCgGRGYFfAkT/Ej00ruDcf7DHjg4eNGWbCG+0uXcKb7bqLDcn+A2hEl1XMtj1FCCIES7k17xoVdYW1tGg0qaXnSz0/Uf3iaEIIk7Q9rqsnT+COWVg8Y=; csrftoken=5MdKKnZH5boQXpaAza1kOVLRFBjx1eij; welcomePkgShown=true; _ga=GA1.1.1693450966.1594951955; _dc_gtm_UA-61904553-8=1; REC_MD_30_2002454304=1595153616; _ga_SW6D8G0HXK=GS1.1.1595152099.14.1.1595153019.0; REC_MD_41_1000044=1595153318_0_50_0_49; SPC_R_T_ID="Am9bCo3cc3Jno2mV5RDkLJIVsbIWEDTC6ezJknXdVVRfxlQRoGDcya57fIQsioFKZWhP8/9PAGhldR0L/efzcrKONe62GAzvsztkZHfAl0I="; SPC_T_IV="IETR5YkWloW3OcKf80c6RQ=="; SPC_R_T_IV="IETR5YkWloW3OcKf80c6RQ=="; SPC_T_ID="Am9bCo3cc3Jno2mV5RDkLJIVsbIWEDTC6ezJknXdVVRfxlQRoGDcya57fIQsioFKZWhP8/9PAGhldR0L/efzcrKONe62GAzvsztkZHfAl0I="'}driver = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver')shopee_url = 'https://shopee.co.id/top_products'driver.get(shopee_url)driver.implicitly_wait(15)response = driver.page_sourcedriver.close()soup = bs(response, "html.parser")url_list = []for tags in soup.find_all('li', attrs={'class': 'stardust-tabs-header__tab stardust-tabs-header__tab--active'}): for a tag in tags.find_all('a',): url_list.append()
1 回答
回首憶惘然
TA貢獻1847條經驗 獲得超11個贊
查看網絡選項卡，那里有幾個調用，例如： https: //shopee.co.id/api/v4/recommend/recommend ?bundle=top_sold_product_microsite&limit=20&offset=0 這將為您提供所有導航欄鏈接在格式良好的 json 中。
有時，通過查看網絡選項卡上發出的不同請求，您可以獲得比解析 html 正文更多的信息
如果您查看導航欄中的第一項，它顯示 Kuota Data Internet，如果您單擊它，您將被重定向到https://shopee.co.id/top_products?catId=ID_V2L0_65
這意味著導航欄中的每個 url 都是https://shopee.co.id/top_products?catId=CAT_ID的形式
您可以在https://shopee.co.id/api/v4/recommend/recommend?bundle=top_sold_product_microsite&limit=20&offset=0 中找到每個人的 CAT_ID 并可能將限制更改為 20 以外的值，并將偏移量更改為不同的值大于 0
對于 Kuota Data Internet，CAT_ID。是 ID_V2L0_65，如下所示：
添加回答
舉報
0/150
提交
取消