亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

python: 爬蟲利器requests

標簽:
Python

requests并不是系统自带的模块,他是第三方库,需要安装才能使用

requests库使用方式

闲话少说,来,让我们上代码:
简单的看一下效果:

import requests

requests = requests.session()

headers = {

    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'

}

url = "http://httpbin.org"

response = requests.get(url, headers=headers, timeout=None)

print(response.text)

print(response.cookies)

print(response.content)

print(response.content.decode("utf-8"))

print(respone.json())


基本的post请求:

data = {

    "name":"zhaofan",

    "age":23

}

response = requests.post("http://httpbin.org/post",data=data)

print(response.text)


对于无效的网站证书请求方法:


data = {

    "name":"zhaofan",

    "age":23

}

response = requests.post("http://httpbin.org/post",data=data)

print(response.text)


代理设置:

import requests


proxies= {

    "http":"http://127.0.0.1:9999",

    "https":"http://127.0.0.1:8888"

}

response  = requests.get("https://www.baidu.com",proxies=proxies)

print(response.text)


如果代理需要设置账户名和密码,只需要将字典更改为如下:

proxies = {

"http":"http://user:[email protected]:9999"

}

如果你的代理是通过sokces这种方式则需要pip install "requests[socks]"

proxies= {

"http":"socks5://127.0.0.1:9999",

"https":"sockes5://127.0.0.1:8888"

}



超时设置

通过timeout参数可以设置超时的时间

没有超时时间,一直等待timeout=None

异常捕捉:


import requests


from requests.exceptions import ReadTimeout,ConnectionError,RequestException


try:

    response = requests.get("http://httpbin.org/get",timout=0.1)

    print(response.status_code)

except ReadTimeout:

    print("timeout")

except ConnectionError:

    print("connection Error")

except RequestException:

    print("error")

點擊查看更多內容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
  • 推薦
  • 評論
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消