亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

kafka --from-beginning 獲取的數據與之前消費的數據不一致

kafka --from-beginning 獲取的數據與之前消費的數據不一致

殘葉聽風 2019-10-04 16:45:07
flume 使用 tail 采集一個文件的數據到kafka topic當開啟了kafka consumer的時候 。文件追加五條。 consumer消費五條。一切正常然后當使用--from-beginning? 查看這個topic 的所有數據的時候。 發現真實消費的數據少了一些。剛才消費的五條數據,并不能全部查到。?其它信息:(1)配置: flume配置的是memory channel?(2)查看kafka log目錄下的分區下的 xxxx.log文件?發現當被采集文件追加 5條左右(為了讓數據寫入同一個partion,這里追加的五條數據一模一樣), xxx.log才刷新一條 。--from-beginning 開啟的控制臺消費者才能看到這一條。?但是如果同時開啟了另一個consumer 。追加的所有條目。都是可以消費到的。?也就是consumer可以消費到,但是?--from-beginning? 卻沒有獲取到請問有同學知道這是為什么嗎?
查看完整描述

1 回答

  • 1 回答
  • 0 關注
  • 5213 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號