爬蟲的定義比較寬泛，比如我的站點www.kzwr.com 就是一種特定采集方向的爬蟲，手動錄入特定的站點，爬蟲抓取程序不定期抓取新文章，而谷歌百度這種分布式的增量爬蟲，可想而知其爬蟲系統相當復雜，其中類似的技術有爬取策略，如廣度優先、最佳優先；url排重系統，抓取隊列調度，數據存儲的等諸多的問題

爬蟲是搜索引擎的一部分，負責信息的采集， 搜索引擎其他兩個部分應該還包括語義分析和全文索引。

在別處粘貼的。

自己的爬蟲是專門化，都是自己想要的某方面的數據。谷歌等搜索是普遍化，結果對所有人是一樣的。