用superagent爬網頁,遇到重定向,拿不到重定向后的響應體,該如何解決,如何獲取重定向后的網頁我想獲取501頁面的res,但是他跳轉到37018頁面,導致我拿到501頁面的空res。測試了爬取不到的網頁,發現有2種情況一開始進入網頁響應碼是200,過一小會刷新變成304一進入響應碼從301重定向到200,過一小會刷新變成304測試了能爬取到的網頁,發現有2種情況一進入響應碼從301重定向到200,過一小會刷新變成304一開始進入網頁響應碼是200,過一小會刷新變成304啊,我擦,那就沒什么區別啦,小白不知道這跟我爬不到內容有沒有關系,orz再再補充問題不在重定向,而在于我的正則表達式匹配問題
superagent爬取網站出現重定向問題
收到一只叮咚
2018-11-24 19:16:21