亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全，請及時綁定郵箱和手機立即綁定
已解決430363個問題，去搜搜看，總會有你想問的

python asyncio aiohttp 超時

python asyncio aiohttp 超時

MMTTMM 2024-01-04 10:42:00
注意事項：這是我第一次使用 asyncio，所以我可能做了一些非常愚蠢的事情。場景如下：我需要“http-ping”一個巨大的 url 列表來檢查它們是否響應 200 或任何其他值。盡管像 gobuster report 200,403 等工具，我對每個請求都會超時。我的代碼與此類似：import asyncio,aiohttpimport datetime #-------------------------------------------------------------------------------------async def get_data_coroutine(session,url,follow_redirects,timeout_seconds,retries):    #print('#DEBUG '+datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')+' '+url)    try:        async with session.get(url,allow_redirects=False,timeout=timeout_seconds) as response:            status  =   response.status            #res     =   await response.text()            if(  status==404):                pass            elif(300<=status and status<400):                location = str(response).split("Location': \'")[1].split("\'")[0]                print('#HIT   '+datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')+' '+str(status)+' '+url+' ---> '+location)                if(follow_redirects==True):                    return await get_data_coroutine(session,location,follow_redirects,timeout_seconds,retries)            else:                print('#HIT   '+datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')+' '+str(status)+' '+url)            return None    except asyncio.exceptions.TimeoutError as e:        print('#ERROR '+datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')+' '+'   '+' '+url+' TIMEOUT '+str(e))        return None   我真的做錯了什么嗎？有什么建議嗎？
查看完整描述

2 回答

?
海綿寶寶撒

TA貢獻1809條經驗 獲得超8個贊

實際上，我最終在 aio-libs/aiohttp 中發現了一個未解決的問題： https://github.com/aio-libs/aiohttp/issues/3203

這樣，他們提出了一種可以滿足我的需求的解決方法：

session_timeout =   aiohttp.ClientTimeout(total=None,sock_connect=timeout_seconds,sock_read=timeout_seconds)

async with aiohttp.ClientSession(timeout=session_timeout) as session:

    async with session.get(url,allow_redirects=False,timeout=1) as response:

       ...


查看完整回答
反對 回復 2024-01-04
?
喵喔喔

TA貢獻1735條經驗 獲得超5個贊

回答你的問題 - 不，你沒有做錯任何事。在 http 請求/響應/超時處理方面，我看不出您的代碼有任何問題。

如果確實您的所有請求都超時到主機（

我的小更新（下面的代碼）是輸出。

http://127.0.0.1:8080/.bashrc.php

#404

http://127.0.0.1:8080/.bashrc

#404

http://127.0.0.1:8080/.bashrc.html

#404

http://127.0.0.1:8080/abc

#HIT? ?2020-11-03 12:57:33 200? http://127.0.0.1:8080/abc

http://127.0.0.1:8080/zt.php

#404

http://127.0.0.1:8080/zt.html

#404

http://127.0.0.1:8080/zt

#404

http://127.0.0.1:8080/abc.html

#HIT? ?2020-11-03 12:57:33 200? http://127.0.0.1:8080/abc.html

http://127.0.0.1:8080/abc.php

#404

DONE

我的更新大部分都很小，但可能有助于進一步調試。

import asyncio

import aiohttp

import datetime



async def get_data_coroutine(session, url, follow_redirects, timeout_seconds, retries):

? ? try:

? ? ? ? async with session.get(

? ? ? ? ? ? url, allow_redirects=False, timeout=timeout_seconds

? ? ? ? ) as response:

? ? ? ? ? ? print(url)

? ? ? ? ? ? now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

? ? ? ? ? ? if response.ok:

? ? ? ? ? ? ? ? print(f"#HIT? ?{now} {response.status}? {url}")

? ? ? ? ? ? else:

? ? ? ? ? ? ? ? status = response.status

? ? ? ? ? ? ? ? if status == 404:

? ? ? ? ? ? ? ? ? ? print("#404")

? ? ? ? ? ? ? ? elif 300 <= status and status < 400:

? ? ? ? ? ? ? ? ? ? location = str(response).split("Location': '")[1].split("'")[0]

? ? ? ? ? ? ? ? ? ? print(f"#HIT? ?{now}? {status} {url} ---> {location}")

? ? ? ? ? ? ? ? ? ? if follow_redirects is True:

? ? ? ? ? ? ? ? ? ? ? ? return await get_data_coroutine(

? ? ? ? ? ? ? ? ? ? ? ? ? ? session, location, follow_redirects, timeout_seconds, retries

? ? ? ? ? ? ? ? ? ? ? ? )

? ? ? ? ? ? ? ? else:

? ? ? ? ? ? ? ? ? ? print("#ERROR ", response.status)

? ? ? ? ? ? return None

? ? except asyncio.TimeoutError as e:

? ? ? ? now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

? ? ? ? print(f"#ERROR? ?{now} {url} TIMEOUT ", e)

? ? ? ? return None



async def main(loop):

? ? base_url = "http://127.0.0.1:8080"

? ? extensions = ["", ".html", ".php"]

? ? fd = open("/usr/share/wordlists/dirb/common.txt", "r")

? ? words_without_suffix = [x.strip() for x in fd.readlines()]

? ? words_with_suffix = [

? ? ? ? base_url + "/" + x + y for x in words_without_suffix for y in extensions

? ? ]

? ? follow = True

? ? total_timeout = aiohttp.ClientTimeout(total=60 * 60 * 24)

? ? timeout_seconds = 10

? ? retries = 1

? ? async with aiohttp.ClientSession(loop=loop, timeout=total_timeout) as session:

? ? ? ? tasks = [

? ? ? ? ? ? get_data_coroutine(session, url, follow, timeout_seconds, retries)

? ? ? ? ? ? for url in words_with_suffix

? ? ? ? ]

? ? ? ? await asyncio.gather(*tasks)

? ? print("DONE")



if __name__ == "__main__":

? ? loop = asyncio.get_event_loop()

? ? result = loop.run_until_complete(main(loop))


查看完整回答
反對 回復 2024-01-04
  • 2 回答
  • 0 關注
  • 277 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

 幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

 公眾號

掃描二維碼
關注慕課網微信公眾號