python怎么抓取渲染后的頁面
python怎么抓取渲染后的頁面
慕無忌1623718
2019-04-08 08:04:12
3 回答
偶然的你
TA貢獻1841條經驗 獲得超3個贊
from
tornado_fetcher import
Fetcher
# 創建一個爬蟲
>>>
fetcher=Fetcher(user_agent= 'phantomjs'
, phantomjs_proxy= 'http://localhost:12306'
, poolsize= 10
)
# 開始連接Phantomjs的代碼，可以渲染JS！
>>>
fetcher.fetch(url)
# 渲染成功后執行額外的JS腳本
>>>
fetcher.fetch(url, js_script= 'setTimeout("window.scrollTo(0,100000)", 1000)'
)
梵蒂岡之花
TA貢獻1900條經驗 獲得超5個贊
#!/usr/bin/env python3
#-*- coding=utf-8 -*-
import urllib3
if __name__ == '__main__':
http=urllib3.PoolManager()
r=http.request('GET','IP')
print(r.data.decode("gbk"))
添加回答
舉報
0/150
提交
取消