我正在嘗試從ratemyprofessors.com 中提取完整的HTML,但是在頁面底部,有一個“加載更多評級”按鈕,可讓您查看更多評論。我正在使用 requests.get(url) 和 beautifulsoup,但這只給出前 20 條評論。有沒有辦法讓頁面在返回之前加載所有評論?這是我目前正在做的,給出了前 20 條評論,但不是全部。 response = requests.get(url) soup = BeautifulSoup(response.text, "html.parser") comments = [] for j in soup.findAll('div', attrs={'class': 'Comments__StyledComments-dzzyvm-0 dEfjGB'}): comments.append(j.text)
使用 python 獲取具有動態擴展容器的頁面的完整 HTML
12345678_0001
2024-01-11 16:16:56