亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

pyspider 是否支持mongodb集群作為taskdb

pyspider 是否支持mongodb集群作為taskdb

一只斗牛犬 2018-08-03 15:51:03
問題描述抓取類似知乎的回答 由于知乎的回答有的非常多 所以用了response.save來存前面爬去的結果由于知乎站點不能爬取太快 可能有導致任務不能及時完成所以taskdb需要存取的數據非常多 那個項目的taskdb接近250GB你期待的結果是什么?實際看到的錯誤信息又是什么?pyspider是否支持mongodb集群作為taskdb然后應該怎么配置...
查看完整描述

1 回答

  • 1 回答
  • 0 關注
  • 906 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號