我正在嘗試輪詢臨時文件的大小。avro 文件從 Kafka 主題寫入 HDFS，但org.apache.hadoop.fs.FileStatus一直返回 0 字節 ( .getLen())，而寫入器仍處于打開和寫入狀態。我可以在寫入端保留一個長度計數器，但在深處數據被轉換為與原始記錄長度不同的二進制格式 (avro)。它可以近似，但我正在尋找更精確的解決方案。有沒有辦法從 hdfs ( io.confluent.connect.hdfs.storage.HdfsStorage) 角度或文件編寫器 ( ) 角度獲取仍然打開的 hdfs 文件的大小io.confluent.connect.storage.format.RecordWriter？
1 回答
江戶川亂折騰
TA貢獻1851條經驗 獲得超5個贊
最后，我延長了RecordWriter在所使用的AvroRecordWriterProvider并且包括圍繞所述的包裝FSDataOutputStream，以輪詢為在當前的尺寸TopicPartitionWriter
在法律清除后，我會將代碼推送到一個分支，并為所有感興趣的人提供鏈接。
添加回答
舉報
0/150
提交
取消