已采納回答 / Peter
爬蟲的的目的就在于可以通過一定的方式把目標網站里面的數據都抓取下來,然后想怎么用都行。
對于一個網站來說,很多數據是有數據權限控制的,也就是需要登錄或者甚至授權的方式才能夠訪問到這些敏感數據。因此,從外部(也就是我們的爬蟲程序)來說,最直接的方式就是模擬已經有權限的用戶去登錄系統,然后訪問這些敏感數。
我們常說,人的安全是最難控制的,家賊難防這個道理也是一樣的。我們的爬蟲就假裝是一個正常的用戶去訪問網站,然后順便把所有感興趣的數據都抓取下來。這就是爬蟲的核心思想。
當然,也可以沒有賬號密碼,你把自己修煉稱...
2014-07-22
講師回答 / Peter
我的印象中,每一行代碼為什么這么寫都已經在課程中進行了說明。唯一沒有展開說的是post的參數是怎么獲取的,這個要說清楚就是http協議相關的內容了,并非CURL的課程內容,因此沒有展開。
如果同學覺得老師哪里說的不清楚,請指出,我也好單獨給出一個回答。這樣,其他的同學也可以得到解惑。
謝謝同學的批評。
2014-07-22