亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全，請及時綁定郵箱和手機立即綁定
已解決430363個問題，去搜搜看，總會有你想問的

selenium + phantomjs +python網絡抓取問題

selenium + phantomjs +python網絡抓取問題

慕虎7371278 2018-07-05 18:18:13
在自己做的案例中，我提供了200個網站鏈接,然后進行網絡抓取,每抓取一個網站就保存一個值,但是最后總有一個網站沒有存值,我的分析可能是因為這個網站一直處于鏈接狀態,有沒有什么方法可以判斷鏈接網站的時候,如果超過多少秒還處于鏈接狀態則退出并記錄?
查看完整描述

2 回答

?
開心每一天1111

TA貢獻1836條經驗 獲得超13個贊

 from selenium import webdriver  
d= webdriver.PhantomJS()  
d.set_page_load_timeout(10)  
d.set_script_timeout(10)

try:  
    d.get(s)  
except:  
    d.execute_script('window.stop()')


查看完整回答
反對 回復 2018-07-14
  • 2 回答
  • 0 關注
  • 302 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

 幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

 公眾號

掃描二維碼
關注慕課網微信公眾號