亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

使用 python 獲取具有動態擴展容器的頁面的完整 HTML

使用 python 獲取具有動態擴展容器的頁面的完整 HTML

12345678_0001 2024-01-11 16:16:56
我正在嘗試從ratemyprofessors.com 中提取完整的HTML,但是在頁面底部,有一個“加載更多評級”按鈕,可讓您查看更多評論。我正在使用 requests.get(url) 和 beautifulsoup,但這只給出前 20 條評論。有沒有辦法讓頁面在返回之前加載所有評論?這是我目前正在做的,給出了前 20 條評論,但不是全部。    response = requests.get(url)    soup = BeautifulSoup(response.text, "html.parser")    comments = []    for j in soup.findAll('div', attrs={'class': 'Comments__StyledComments-dzzyvm-0 dEfjGB'}):        comments.append(j.text)
查看完整描述

1 回答

?
拉丁的傳說

TA貢獻1789條經驗 獲得超8個贊

BeautifulSoup 更像是靜態頁面的 HTML 解析器,而不是更動態的 Web 應用程序的渲染器。

您可以通過 Selenium 使用無頭瀏覽器實現您想要的效果,方法是渲染整個頁面并重復單擊“更多”鏈接,直到沒有更多內容可供加載。

由于您已經在使用 Requests,因此另一個可能有效的選項是 Requests-HTML,它也支持通過調用.html.render()響應對象進行動態渲染。


查看完整回答
反對 回復 2024-01-11
  • 1 回答
  • 0 關注
  • 182 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號