想問一下，寫一個爬蟲，如何判斷該爬蟲什么時候應該停止呢？初始狀態為一個url；然后有一個while(isNotEmpty(urlList)){    // do something}我的思路是這樣，但是會有放入隊列url 的速度跟不上消費的速度，以至于出現了urlList為空的情況，這時候爬蟲就停掉了。我想問下，有哪位大牛自己寫過爬蟲的框架，是根據什么條件決定爬蟲停止運行的。