我正在做一個關于網絡抓取的項目，我被要求從一個網站抓取所有 pdf 鏈接：https: //www.sebi.gov.in/sebiweb/home/HomeAction.do ?doListing=yes&sid=3& s。該網站有 397 個頁面，但每個頁面都有相同的 URL。我嘗試了 inspect element 工具，發現 javascript 代碼有助于導航到不同的頁面。但我仍然無法弄清楚如何為所有頁面運行我的腳本。下面是我的代碼。from bs4 import BeautifulSoupimport lxmlurl = 'https://www.sebi.gov.in/sebiweb/home/HomeAction.do?doListing=yes&sid=3&s'conn = urllib2.urlopen(url)html = conn.read()soup = BeautifulSoup(html)links = soup.find_all('a')urls=[]for tag in links:    link = tag.get('href',None)    if link is not None and link.endswith('html'):        #urls.append(link)        purl=link        new=urllib2.urlopen(purl)        htm=new.read()        sp=BeautifulSoup(htm)        nl=sp.find_all('a')        nm=sp.find_all('iframe')        for i in nl:            q=i.get('href',None)            title=i.get('title',None)            if q is not None and q.endswith('pdf'):                print(q)                urls.append(q)        for j in nm:            z=j.get('src',None)            title=j.get('title',None)            if z is not None and z.endswith('pdf')and title is not None:                print(z)                print(title)                urls.append(z)        print(len(urls))