什么是分布式爬蟲 和單機爬蟲有什么區別
1 回答
泛舟湖上清波郎朗
TA貢獻1818條經驗 獲得超3個贊
分布式爬蟲就是多臺計算機上都安裝爬蟲程序，重點是聯合采集。單機爬蟲就是只在一臺計算機上，叫做單機。前嗅的ForeSpider數據采集系統就有單機和服務器版，比如只在一臺服務器上的爬蟲，雖然開了多進程，但還是服務器單機的。但是如果在多個服務器上，并且能夠協同采集，就是分布式的。
添加回答
舉報
0/150
提交
取消