已解決430363個問題，去搜搜看，總會有你想問的

爬蟲如何保存已經訪問過的url

關注

首頁猿問爬蟲如何保存已經訪問過的url

爬蟲如何保存已經訪問過的url

JavaScript

郎朗坤 2019-04-07 09:37:37

話說同志們在爬取數據的時候如何保存已經訪問過的url和隊列？對于爬取過的url，我使用redis的set來保存，訪問隊列是用list來保存，數據量是直線上升，內存不大，也只有4g，扛不住。不知道以前的方法是什么？

查看完整描述

2 回答

慕哥6287543

TA貢獻1831條經驗獲得超10個贊

隊列和判斷是否訪問我都是用的MySQL，考慮到Redis的持久化特性不是很好，而且當時也沒想過用Redis或者其他的，暫時現在用MySQL也沒什么問題。具體的做法就是對url的md5值做唯一索引，每次查詢都很快，表結構也簡單。隊列的話使用的是查表的形式，SQL如下（具體status是表示一些自己定義的狀態）：select*fromt_down_taskwherestatus=0orderbyidlimit1;定期刪除已經執行完的任務

反對回復 2019-04-07

2 回答
0 關注
311 瀏覽

關注

添加回答

舉報

0/150

提交

取消

亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

熱搜

最近搜索清空

爬蟲如何保存已經訪問過的url

爬蟲如何保存已經訪問過的url

2 回答

添加回答