問題描述共有6000個url, 12點的時候啟動celery產生任務和隊列派給兩個服務器去爬, 每次處理100個url, 我用中間件拿到10個代理ip攜帶上去請求, 100個處理完后, 繼續處理隊列中的下一組100個url, 但是為什么不讀取新的ip呢? 這樣6000個url跑完, 永遠用的還是第一次那10個ip, 目前我是在process_request函數中每個請求都去讀取一個有ip的文本, 而文本定時更換保證只有10個ip, 所以100個請求也只會隨機從10個里拿, 但是后邊處理隊列中其他一堆請求就再也不讀取新ip了, 怎么解決呢?讀取文本是為了節省ip, 因為我會控制文本只有10個ip,定時更換, 如果不讀取文本,而是直接調取ip接口, 那就需要特別多的ip, 一輪6000個url就需要最少6000個ip, 現在一輪只想用300個ip, 每進行下一組100個url的時候就讓它拿新的10個ip , 但貌似現在就不拿... 文本里的ip還在定時更換, 結果scrapy就拿一次, 再也不拿了..2個服務器, celery+rabbitmq + python+ scrapy爬蟲框架