flume 使用 tail 采集一個文件的數據到kafka topic當開啟了kafka consumer的時候 。文件追加五條。 consumer消費五條。一切正常然后當使用--from-beginning? 查看這個topic 的所有數據的時候。 發現真實消費的數據少了一些。剛才消費的五條數據,并不能全部查到。?其它信息:(1)配置: flume配置的是memory channel?(2)查看kafka log目錄下的分區下的 xxxx.log文件?發現當被采集文件追加 5條左右(為了讓數據寫入同一個partion,這里追加的五條數據一模一樣), xxx.log才刷新一條 。--from-beginning 開啟的控制臺消費者才能看到這一條。?但是如果同時開啟了另一個consumer 。追加的所有條目。都是可以消費到的。?也就是consumer可以消費到,但是?--from-beginning? 卻沒有獲取到請問有同學知道這是為什么嗎?
- 1 回答
- 0 關注
- 5213 瀏覽
添加回答
舉報
0/150
提交
取消