我的需求是:node 需要短時間內爬取一個接口數據若干次次,每一條的數據量大概有5M,得到的數據存儲在mongo 中我現在做了幾種嘗試:當請求次數很少(20次左右),一切正常當請求次數過多后(200+),數據能夠請求到,但是不能順利保存當請求次數超過500次后,直接內存溢出了我想問問有什么方案能讓異步數量小于20次?
一個關于 node 爬蟲大批量請求的問題?
揚帆大魚
2018-07-15 10:02:50