我想抓取一個網站，但出現下一個錯誤：'<head>\n<title>Access Denied</title>\n</head>'我只是在控制臺中嘗試：scrapy shell https://www.zara.com/es/en/
response.css("head").get()我做錯了什么？與User-Agent有關嗎？網站有沒有反爬的方法？怎樣才能抓取這個網站？
1 回答
蕪湖不蕪
TA貢獻1796條經驗 獲得超7個贊
在 settings.py 中設置USER_AGENT = 'zara (+http://www.yourdomain.com)'。解決問題。如果您愿意，也可以放置自己的用戶代理。
添加回答
舉報
0/150
提交
取消