最近想用node寫個爬蟲工具，一來屬性下nodejs，二來提升下知識面（個人認為爬蟲是個提升前端知識面不錯的學例），但是自己工作經驗也不多，工作中也沒了解或用過爬蟲，想問下大佬們：1、一個大型的爬蟲應該是怎樣的？2、需要具體具備哪些功能？（一個爬蟲程序的需求？）3、一般公司是怎么使用爬蟲的？