亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全，請及時綁定郵箱和手機立即綁定
已解決430363個問題，去搜搜看，總會有你想問的

scrapy_redis中的redis_key的問題

scrapy_redis中的redis_key的問題

幕布斯6054654 2018-12-16 16:41:57
redis_key = 'jingzhun:starturls' 這個從lpush 里面來的，但是我現在要給這個push的地址加上cookie 和header 才能獲取數據，請問這個如何處理呢？
查看完整描述

1 回答

?
翻過高山走不出你

TA貢獻1875條經驗 獲得超3個贊

重寫scrapy_redis的這個方法

def make_request_from_data(self, data):
        """Returns a Request instance from data coming from Redis.
        By default, ``data`` is an encoded URL. You can override this method to
        provide your own message decoding.
        Parameters
        ----------
        data : bytes
            Message from redis.
        """
        url = bytes_to_str(data, self.redis_encoding)        return self.make_requests_from_url(url)

或者return中調用的那個方法，自定義請求。


查看完整回答
反對 回復 2018-12-16
  • 1 回答
  • 0 關注
  • 575 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

 幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

 公眾號

掃描二維碼
關注慕課網微信公眾號