亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

Python 收集鏈接后面的 URL

Python 收集鏈接后面的 URL

慕村9548890 2022-10-21 15:43:59
我有幾個網站,每個網站都有鏈接。在這些鏈接后面,當我將鼠標懸停在鏈接上時,我可以在狀態欄中看到一些 URL。我需要使用 Python 獲取這些鏈接。當我查看頁面源代碼時,“href”沒有顯示這些鏈接,這表明它們是使用 Javascript 顯示的。有沒有辦法可以使用 Python 實際收集這些 URL?謝謝。
查看完整描述

2 回答

?
侃侃爾雅

TA貢獻1801條經驗 獲得超16個贊

使用瀏覽器的開發人員工具,您可以檢查按鈕元素并查看它們是否必須onClick執行功能getCompYData。該函數定義為:


function getCompYData(t, a, b) {

  $("#yearlySmbData").empty(), $("#mheader").html(b), $.post("annQtrStmts.php", {

    name: "get_comp_y_data",

    smbCode: t,

    year: a

  }, function(t) {

    obj = JSON.parse(t), $("#yearlySmbData").createTable(obj, {})

  })

}

annQtrStmts.php通過使用name字符串(例如 AABS)和年份(例如 2020)執行 HTTP POST 請求,smbCode您應該能夠訪問相應的文件。


請記住,這樣做可能違反本網站的條款和條件。


編輯:根據更新的問題,您實際上想要查看此功能:


function getCompData() {

  var t = $("#country").val();

  $(".nav-link").removeClass("active"), $("#yearlyData").empty(), $("#annRpt").html("Financial Reports <br><br>" + $("#country option:selected").text() + " ( " + t + " )"), $.post("annQtrStmts.php", {

    name: "get_comp_data",

    smbCode: t

  }, function(t) {

    obj = JSON.parse(t), $("#yearlyData").createTable(obj, {})

  })

}

端點是相同的,但在這種情況下,您傳遞的是不同的字符串并且沒有年份。


查看完整回答
反對 回復 2022-10-21
?
Cats萌萌

TA貢獻1805條經驗 獲得超9個贊

import requests

from bs4 import BeautifulSoup


def getMyUrl(*arg):

#     print(arg)

    for _ in arg:

        if requests.head(_).status_code == 200:

            soup = BeautifulSoup(requests.get(_).text, "html.parser")

            for a_tag in soup.findAll("a"):

                print(a_tag.attrs.get("href"))


#Use this like


if __name__ == "__main__":

    getMyUrl("https://www.google.com", "https://example.com")


查看完整回答
反對 回復 2022-10-21
  • 2 回答
  • 0 關注
  • 202 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號