比如我自己寫的有A B C 三個爬蟲 如何三個爬蟲并行？是一個函數里面三個爬蟲執行嗎？通過多線程調用這個函數？
1 回答
烙印99
TA貢獻1829條經驗 獲得超13個贊
使用多線程方式調用你的爬蟲啟動函數， 不過首先你要保證你的爬蟲是線程安全的。
最簡單的基本寫法如下：
import thread# 你的爬蟲函數def crawler(param1, param2, param3):
pass# 啟動兩個線程調用爬蟲函數并傳參try:
thread.start_new_thread(crawler, (arg1, arg2, arg3))
thread.start_new_thread(crawler, (_arg1, _arg2, _arg3))except:
print("something wrong")添加回答
舉報
0/150
提交
取消