亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

刮Google財經(BeautifulSoup)

刮Google財經(BeautifulSoup)

滄海一幻覺 2019-09-26 15:22:31
刮Google財經(BeautifulSoup)我正在嘗試抓取Google財經,并獲取“相關股票”表,該表基于Chrome中的網頁檢查器具有id“ cc-table”和類“ gf-table”。(示例鏈接:https : //www.google.com/finance?q=tsla)但是當我運行.find(“ table”)或.findAll(“ table”)時,此表不會顯示。我可以在Python的HTML內容中找到帶有表內容的JSON對象,但不知道如何獲取它。有任何想法嗎?
查看完整描述

3 回答

?
當年話下

TA貢獻1890條經驗 獲得超9個贊

大多數網站所有者不喜歡刮板程序,因為它們會收集公司價值的數據,用盡整個服務器的時間和帶寬,卻一無所獲。像Google這樣的大公司可能會讓整個團隊采用多種方法來檢測和阻止試圖抓取其數據的機器人。

有幾種解決方法:

  • 從另一個安全性較低的網站上進行抓取。

  • 查看Google或其他公司是否具有供公眾使用的API。

  • 使用像Selenium這樣的更高級的抓取工具(并且可能仍被Google阻止)。


查看完整回答
反對 回復 2019-09-26
?
慕后森

TA貢獻1802條經驗 獲得超5個贊

在我的示例中,我展示了使用Dryscrape,使用QtWebKit和PyQt5以及硒的方法,您可以分別使用所有三個示例。Dryscrape是我的最愛,但不能在Windows上運行PyQt5是我的下一個最愛,但我發現Selenium很笨重。這里有3個示例,我希望其中一個示例還有其他結帳scrapy-splash。

查看完整回答
反對 回復 2019-09-26
  • 3 回答
  • 0 關注
  • 550 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號