亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

schedule內容不更新的問題。

schedule內容不更新的問題。

HUX布斯 2019-02-23 21:48:08
用的github上最新的0.3.9版本,發現更改了project的代碼后,schedule里面的內容居然沒有更新,導致本來希望半小時抓取一次,結果爬蟲是10秒鐘爬取一次。不知道是不是bug,怎么解決。 代碼是這樣 class Handler(BaseHandler): crawl_config = { 'headers':{ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.89 Safari/537.36', } } @every(minutes=30) def on_start(self): self.crawl('http://www.xxxx.org/', callback=self.index_page) @config(age=10) def index_page(self, response): schedul是這樣 注:原來有寫itag,后來刪除了。 ACTIVE xxxx.index_page > http://www.xxxx.org/ (8 seconds ago updated ) taskid 9dfac8d63cb01eae0e33701e26de4778 lastcrawltime 1480581196.0514488 (8 seconds ago) updatetime 1480581196.0515082 (8 seconds ago) exetime 1480581206.0514526 (1 second ago) track.fetch 1320.64ms { "content": null, "encoding": "GBK", "error": null, "headers": {}, "ok": true, "redirect_url": null, "status_code": 200, "time": 1.3206377029418945 } track.process 34.6ms +16 { "exception": null, "follows": 16, "logs": "", "ok": true, "result": null, "time": 0.03459787368774414 } schedule { "age": 10, "auto_recrawl": true, "exetime": 1480581206.0514526, "itag": "v223", "retried": 21 } fetch {} process { "callback": "index_page" }
查看完整描述

1 回答

  • 1 回答
  • 0 關注
  • 729 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號