用python寫小腳本想爬取新浪科技的粉絲http://weibo.com/1642634100/fans,先要獲得粉絲頁數,用chrome看到的html結構如下:寫的腳本如下,獲得的list為空def getFansPage(urlfans):
req = urllib2.Request(urlfans, headers=headers)
time.sleep(sletime)
html_sample = exceptRequest(req).read()
# 分析得到pagenum所在屬性
soup = BeautifulSoup(html_sample,'html.parser')
pagenum = soup.find_all("a",class_="page prev S_txt1 S_line1 page_dis") return pagenum后來發現這樣連都是空的:pagenum = soup.find_all("a",class_="WB_frame")這是為什么呢?
為什么用Beautifulsoup無法提取微博粉絲列表的page數
慕無忌1623718
2018-09-10 12:22:25