亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

scrapy抓取淘寶商品詳情頁,讀取url隨機強制302,跳轉到h5.taobao。

scrapy抓取淘寶商品詳情頁,讀取url隨機強制302,跳轉到h5.taobao。

千萬里不及你 2019-05-25 15:07:40
使用scrapy+redis從一定量的淘寶詳情頁url獲取商品詳情已設置user-agent,已傳入cookie,已設置proxy-ip獲取url,response.status有時是200,有時是302,隨機改變1000個url,成功獲取商品信息大概有400多是否為cookie未傳入成功,還是proxy-ip不穩定?或者其他原因。請幫忙分析,謝謝!報錯Traceback:2017-07-1415:51:12[scrapy.core.engine]DEBUG:Crawled(200)(referer:None)2017-07-1415:51:12[requests.packages.urllib3.connectionpool]INFO:StartingnewHTTPSconnection(1):rate.taobao.com2017-07-1415:51:12[requests.packages.urllib3.connectionpool]DEBUG:"GET/detailCommon.htm?auctionNumId=10245430841HTTP/1.1"200None2017-07-1415:51:12[scrapy.core.scraper]DEBUG:ScrapedfromNone2017-07-1415:51:12[taobao]DEBUG:Read1requestsfrom'taobao:start_urls'2017-07-1415:51:12[scrapy.downloadermiddlewares.cookies]DEBUG:Sendingcookiesto:2017-07-1415:51:12[scrapy.downloadermiddlewares.redirect]DEBUG:Redirecting(302)tofrom2017-07-1415:51:12[scrapy.downloadermiddlewares.cookies]DEBUG:Sendingcookiesto:2017-07-1415:51:12[scrapy.core.engine]DEBUG:Crawled(200)(referer:None)['partial']2017-07-1415:51:12[scrapy.core.scraper]ERROR:Spidererrorprocessing(referer:None)
查看完整描述

2 回答

  • 2 回答
  • 0 關注
  • 1760 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號