亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

在 python 中的 WebScraping javascript 頁面

在 python 中的 WebScraping javascript 頁面

aluckdog 2021-12-23 10:33:34
你好世界,Python 中的新內容,我正在嘗試抓取一個 javascript 頁面:https ://search.gleif.org/#/search/請在下面從我的代碼中找到結果(使用請求)<!DOCTYPE html><html><head><meta charset="utf-8"/><meta content="width=device-width,initial-scale=1" name="viewport"/><title>LEI Search 2.0</title><link href="/static/icons/favicon.ico" rel="shortcut icon" type="image/x-icon"/><link href="https://fonts.googleapis.com/css?family=Open+Sans:200,300,400,600,700,900&amp;subset=cyrillic,cyrillic-ext,greek,greek-ext,latin-ext,vietnamese" rel="stylesheet"/><link href="/static/css/main.045139db483277222eb714c1ff8c54f2.css" rel="stylesheet"/></head><body><div id="app"></div><script src="/static/js/manifest.2ae2e69a05c33dfc65f8.js" type="text/javascript"></script><script src="/static/js/vendor.6bd9028998d5ca3bb72f.js" type="text/javascript"></script><script src="/static/js/main.5da23c5198041f0ec5af.js" type="text/javascript"></script></body></html>問題: 而不是檢索上面的腳本:"src="/static/js/manifest.2ae2e69a05c33dfc65f8.js" type="text/javascript""我想擁有表格的內容以便存儲它。我想刮的桌子
查看完整描述

1 回答

?
FFIVE

TA貢獻1797條經驗 獲得超6個贊

以下代碼是使用PySelenium編寫的。


import time

from selenium import webdriver


country = []

legal_name = []

lei = []


driver = webdriver.Chrome()

driver.implicitly_wait(5)


for i in range(1,30395):

    driver.get('https://search.gleif.org/#/search/fulltextFilterId=LEIREC_FULLTEXT&currentPage='+str(i)+'&perPage=50&expertMode=false#results-section')


    time.sleep(5)


    country += [i.get_attribute('innerHTML') for i in driver.find_elements_by_xpath('//*[@class="table-cell country"]/a')]

    legal_name += [i.get_attribute('innerHTML') for i in driver.find_elements_by_xpath('//*[@class="table-cell legal-name"]/a')]

    lei += [i.get_attribute('innerHTML') for i in driver.find_elements_by_xpath('//*[@class="table-cell lei"]/a')]

登錄(使用相應的元素更改此設置。)

driver.find_element_by_id("UserName").send_keys("xxxx")

driver.find_element_by_name("Password").send_keys("yyyy")

driver.find_element_by_class("loginButton").click()

獲取頁面內容

print(driver.page_source)


查看完整回答
反對 回復 2021-12-23
  • 1 回答
  • 0 關注
  • 162 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號