亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

RabbitMQ pika.exceptions.ConnectionClosed

RabbitMQ pika.exceptions.ConnectionClosed

LEATH 2021-07-15 14:01:57
我在 RabbitMQ 中有一個任務隊列,其中有多個生產者 (12) 和一個消費者,用于 webapp 中的繁重任務。當我運行消費者時,它會在出現此錯誤之前開始將一些消息出列:Traceback (most recent call last):File "jobs.py", line 42, in <module> jobs[job](config)File "/home/ec2-user/project/queue.py", line 100, in init_queuechannel.start_consuming()File "/usr/lib/python2.7/site-packages/pika/adapters/blocking_connection.py", line 1822, in start_consumingself.connection.process_data_events(time_limit=None)File "/usr/lib/python2.7/site-packages/pika/adapters/blocking_connection.py", line 749, in process_data_eventsself._flush_output(common_terminator)File "/usr/lib/python2.7/site-packages/pika/adapters/blocking_connection.py", line 477, in _flush_outputresult.reason_text)pika.exceptions.ConnectionClosed: (-1, "error(104, 'Connection reset by peer')")生產者代碼是:message = {'image_url': image_url, 'image_name': image_name, 'notes': notes}connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))channel = connection.channel()channel.queue_declare(queue='tasks_queue')channel.basic_publish(exchange='', routing_key=queue_name, body=json.dumps(message))connection.close()唯一的消費者代碼(那個是沖突的):def callback(self, ch, method, properties, body):    """Callback when receive a message."""    message = json.loads(body)    try:        image = _get_image(message['image_url'])    except:        sys.stderr.write('Error getting image in note %s' % note['id'])   # Crop image with PIL. Not so expensive   box_path = _crop(image, message['image_name'], box)   # API call. Long time function   result = long_api_call(box_path)   if result is None:       sys.stderr.write('Error in note %s' % note['id'])       return   # update the db   db.update_record(result)如您所見,消息有 3 個昂貴的函數。一項裁剪任務、一項 API 調用和一項數據庫更新。沒有API調用,que消費者運行流暢。
查看完整描述

1 回答

?
米脂

TA貢獻1836條經驗 獲得超3個贊

您的 RabbitMQ 日志顯示了一條我認為我們可能會看到的消息:

missed heartbeats from client, timeout: 60s

發生的事情是您long_api_call阻止了 Pika 的 I/O 循環。Pika 是一個非常輕量級的庫,不會在后臺為您啟動線程,因此您必須以這樣一種方式編寫代碼,即不會阻塞 Pika 的 I/O 循環超過心跳間隔。RabbitMQ 認為您的客戶端已死或無響應并強行關閉連接。

在此處查看我的答案,其中鏈接到此示例代碼,顯示如何在單獨的線程中正確執行長時間運行的任務。您仍然可以使用no_ack=True,您只需跳過ack_message呼叫。



查看完整回答
反對 回復 2021-07-28
  • 1 回答
  • 0 關注
  • 484 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號