我是大數據領域的新手，我需要做一個演示，使用火花流從Kafka主題流式傳輸數據，然后進行一些聚合和過濾，然后保存這些數據。我正在使用spark 2.3，我需要知道哪個版本的spark stream Kafka必須使用0.8或10，如spark-2.3文檔->https://spark.apache.org/docs/2.3.0/streaming-kafka-integration.html 提到0.8 已棄用，10 是穩定的，但在流-kafka-0-10-集成中->https://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html提到0.8是穩定的，10是實驗性的，我使用的是Kafka 2.1。所以我必須使用其中的哪一個
2 回答
呼如林
TA貢獻1798條經驗 獲得超3個贊
我使用的是Kafka 2.1。
然后，您應該使用Spark的0.10 Kafka API，主要是因為擁有新的消費者API，如該頁面所述。
如果升級到 Spark 2.4，則同一庫已升級為使用 Kafka 2.0 庫，但它們將名稱保留為 0.10 - SPARK-18057
添加回答
舉報
0/150
提交
取消