亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

一個關于 node 爬蟲大批量請求的問題?

一個關于 node 爬蟲大批量請求的問題?

揚帆大魚 2018-07-15 10:02:50
我的需求是:node 需要短時間內爬取一個接口數據若干次次,每一條的數據量大概有5M,得到的數據存儲在mongo 中我現在做了幾種嘗試:當請求次數很少(20次左右),一切正常當請求次數過多后(200+),數據能夠請求到,但是不能順利保存當請求次數超過500次后,直接內存溢出了我想問問有什么方案能讓異步數量小于20次?
查看完整描述

1 回答

?
jeck貓

TA貢獻1909條經驗 獲得超7個贊

并發控制啊,node爬蟲不做并發控制肯定內存溢出啊。

用 async npm包 , async.maplimt 控制并發

或者自己造一個簡單的輪子15 行代碼實現并發控制(javascript)


查看完整回答
反對 回復 2018-07-20
  • 1 回答
  • 0 關注
  • 410 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號