我現在在下載美團外賣的數據，但是出現了三個問題。一個是餐館的地址總是變，我第一級剛把餐館的網址列表拿到，第二級就顯示我無權訪問該網頁。第二個問題是，網頁在使用DS打數機抓取時就顯示頁面不存在，但是我用同樣的網址拷貝到瀏覽器中就可以顯示，這是不是意味著美團發現我在下數據，進行了反爬？第三個問題是，我將網址設置為下級線索，但是當運行上一級線索 時應該自動運行下級線索吧？現在卻沒有自動運行，我是在哪里出錯了嗎？
1 回答
當年話下
TA貢獻1890條經驗 獲得超9個贊
1、網址變化的情況是目標網站的設置，爬蟲這邊解決不了的，你說的無權訪問該網頁應該不是網址在變，而是跟第二個問題一樣的情況。
2、是遇到反爬了。
3、設置了層級采集，兩級規則是要分開手工運行的，不是自動連貫的。
4、需要更換代理IP了，找那種高匿或者獨享的。
添加回答
舉報
0/150
提交
取消