我有一個數據庫，里面有1千萬的數據，每條數據存放一個url，我要測試這個url是否是可以鏈接的，使用python實現，什么思路？如果使用gevent，如何動態添加url，比如我gevent的pool設置為100,在數據庫中取出數據的時候如何遍歷最高效？
1 回答
江戶川亂折騰
TA貢獻1851條經驗 獲得超5個贊
都行，建議你用隊列來序列化整個工作，redis這種kv數據庫級的或者是gevent.queue這種協程級的或者是multiprocessing.queue這種跨進程的隊列都行……
目測這個工作主要瓶頸在檢查url是否正常（http code 2xx？），次瓶頸在從數據庫讀這10M條記錄。
對于檢查url的工作，可以通過gevent/twisted/多線程/多進程來并發，就像你說的pool設置到100。
對于從數據庫讀出記錄，并行不見得比串行訪問更快……
所以，開一個到兩個reader從數據庫讀，開100個以上的checker去檢查url就可以了。中間放一個queue用來通信。
是這樣的結構： reader ---(寫入)--> 隊列 ---(讀出)--> checker
至于隊列用什么實現，不是很重要……因為瓶頸不在這兒……
從數據庫讀就很容易了，如果只有一個reader，就select * from table得到一個完整的數據集，遍歷寫入隊列即可
添加回答
舉報
0/150
提交
取消