現在采用的是在windows 環境下 采用多線程的方式進行爬取,使用beautifulsoup+lxml進行解析.N個爬取線程->解析隊列->1個解析線程->存儲隊列->1個存儲線程整個執行程序的效率卡在計算密集的解析線程中，如果只是增加解析線程數量的話，反而增加線程切換開銷速度變慢。請問下 有什么辦法可以較為明顯的提升解析效率？根據兩位大腿的說明 準備采用異步爬取->解析隊列->N個解析進程->存儲隊列->存儲線程準備開工
2 回答
吃雞游戲
TA貢獻1829條經驗 獲得超7個贊
其實我覺得, 你在前面N個爬取線程 可以換成協程/線程池實現, 因為你在頻繁創建線程本省一種性能耗費, 用線程池雖然可以減少這部分的損耗, 但是上下文切換還是無法避免, 所以協程這方面, 應該是比較合適的.1個解析線程 換成 進程池,多開幾個進程去計算密集處理, 其余應該可以不用改, 如果還想再搞, 將核心部分用c/c++ 重寫咯, 希望可以幫到你
添加回答
舉報
0/150
提交
取消