我試圖弄清楚如何從以下網址中抓取數據：https://www.aap.org/en-us/advocacy-and-policy/aap-health-initiatives/nicuverification/Pages/NICUSearch.aspx這是數據類型：看起來所有內容都是從數據庫填充并通過 JavaScript 加載到網頁中。我過去使用seleniumand做過類似的事情PhantomJS，但我不知道如何在 Python 中獲取這些數據字段。正如預期的那樣，我不能用于pd.read_html此類問題。是否可以解析以下結果：from selenium import webdriverurl="https://www.aap.org/en-us/advocacy-and-policy/aap-health-initiatives/nicuverification/Pages/NICUSearch.aspx"browser = webdriver.PhantomJS()browser.get(url)content = browser.page_source或者也許可以訪問實際的底層數據？如果沒有，除了幾個小時的復制和粘貼之外，還有什么其他方法？編輯：基于下面的答案，來自 @thenullptr，我已經能夠訪問該材料，但僅限于第 1 頁。我如何調整它以遍歷所有頁面 [正確解析的建議]？我的最終目標是將其放入 pandas 數據框中import requestsfrom bs4 import BeautifulSoupr = requests.post( url = 'https://search.aap.org/nicu/', data = {'SearchCriteria.Level':'1', 'X-Requested-With':'XMLHttpRequest'}, ) #key:valuehtml = r.text# Parsing the HTML soup = BeautifulSoup(html.split("</script>")[-1].strip(), "html")div = soup.find("div", {"id": "main"})div = soup.findAll("div", {"class":"blue-border panel list-group"})def f(x): ignore_fields = ['Collapse all','Expand all'] output = list(filter(bool, map(str.strip, x.text.split("\n")))) output = list(filter(lambda x: x not in ignore_fields, output)) return outputresults = pd.Series(list(map(f, div))[0])
1 回答
Smart貓小萌
TA貢獻1911條經驗 獲得超7個贊
繼我上一條評論之后，下面的內容應該為您提供一個很好的起點。在查看 XHR 調用時，您只想查看每個調用發送和接收的數據，以查明您需要的數據。下面是進行搜索時發送到 API 的原始 POST 數據，看起來您需要至少使用一個并包含最后一個。
{
? ? "SearchCriteria.Name": "smith",
? ? "SearchCriteria.City": "",
? ? "SearchCriteria.State": "",
? ? "SearchCriteria.Zip": "",
? ? "SearchCriteria.Level": "",
? ? "SearchCriteria.LevelAssigner": "",
? ? "SearchCriteria.BedNumberRange": "",
? ? "X-Requested-With": "XMLHttpRequest"
}
這是一個簡單的示例，說明如何使用 requests 庫發送 post 請求，網頁將回復原始數據，以便您可以使用 BS 或類似的方法來解析它以獲取您需要的信息。
import requests
r = requests.post('https://search.aap.org/nicu/',?
data = {'SearchCriteria.Name':'smith', 'X-Requested-With':'XMLHttpRequest'}) #key:value
print(r.text)
印刷 <strong class="col-md-8 white-text">JOHN PETER SMITH HOSPITAL</strong>...
https://requests.readthedocs.io/en/master/user/quickstart/
添加回答
舉報
0/150
提交
取消