亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

requests獲取到的網頁內容與查看到的網頁內容不一樣,是有什么保護嗎

requests獲取到的網頁內容與查看到的網頁內容不一樣,是有什么保護嗎

ericguang 2018-02-07 13:55:20
抓取頁面中評書下載地址,網頁源碼能看到每一個評書標題,href地址 但是requests獲取的href全部為#,評書名全部為?請到pingshu8下載 請問哪位大神能指教一下?代碼如下 import?requests from?bs4?import?BeautifulSoup import?lxml if?__name__=='__main__': ????url?=?'http://www.pingshu8.com/MusicList/mmc_235_6576_1.Htm' ????r?=?requests.get(url,?timeout=30) ????r.encoding?=?'gb2312' ????bs?=?BeautifulSoup(r.text,?'lxml') ????pingshu_li?=?bs.find_all('li',?class_='a1') ????print(pingshu_li.__len__()) ????for?i?in?range(0,?pingshu_li.__len__()?-?1): ????????name?=?pingshu_li[i].find('a').text ????????href?=?pingshu_li[i].find('a')['href'] ????????print(name,?href)
查看完整描述

3 回答

已采納
?
Chasing_Cars

TA貢獻3條經驗 獲得超0個贊

網頁有動態渲染

可以用pantomjs+selenium模擬瀏覽器進行爬取

查看完整回答
反對 回復 2018-02-08
  • ericguang
    ericguang
    謝謝,已經用selenium取到數據。接下來準備看看pantomjs
?
拖鞋_

TA貢獻453條經驗 獲得超223個贊

有JS? 你直接讀的文件? 只能獲得文檔? JS代碼是無法執行的 需要模擬瀏覽器環境 執行JS

查看完整回答
反對 回復 2018-02-07
  • ericguang
    ericguang
    多謝提醒,requests這樣只適合抓靜態網頁
  • 3 回答
  • 0 關注
  • 3077 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號