我正在編寫一個網站抓取工具,可以從網站內的表格中保存所有加密貨幣名稱。我編寫了一個腳本來獲取網頁的響應,然后使用該BeautifulSoup庫將響應解析為HTML對象。問題是響應沒有返回網頁的完整內容。它顯示表中特定位置的數據,并跳過表上方的數據。當我嘗試調試代碼時,響應對象包含網頁中的所有數據,但是當我嘗試打印數據時,它只顯示頁面中某個點的數據。這是代碼:import requestsfrom bs4 import BeautifulSoupresponse = requests.get("https://coinmarketcap.com/all/views/all", headers={'User-Agent': 'Mozilla/5.0'})print(response.text)soup = BeautifulSoup(response.text, 'html.parser')results = soup.find_all('table', attrs={'id': 'currencies-all'})如果有人能告訴我我做錯了什么,那將非常有幫助,因為我無法找出問題所在。
2 回答
Smart貓小萌
TA貢獻1911條經驗 獲得超7個贊
您是否可能達到 IDE 控制臺的緩沖區限制?
在Spyder上,默認值為500行,結果將僅看到500行源代碼。嘗試增加此限制,看看是否能解決您的問題。
在 Spyder(Windows)上,它是 Tools > Preferences > IPython Console > Buffer(在底部)。
我將緩沖區增加到 4000,但仍然不足以容納整個頁面,但確實顯示了更多行。
添加回答
舉報
0/150
提交
取消
