如何使Spark Streaming（Spark 1.0.0）读取Kafka的最新数据（Kafka Broker 0.8.1）-Java 学习之路

我的火花流应用程序从Kafka获取数据并对它们进行处理 .

如果应用程序失败，大量数据存储在Kafka中，并且在下一次启动Spark Streaming应用程序时，它会崩溃，因为一次消耗的数据太多 . 由于我的应用程序不关心过去的数据，因此仅使用当前（最新）数据是完全正常的 .

我找到了 "auto.reset.offest" 选项，它在Spark中的表现略有不同 . 它会删除存储在zookeeper中的偏移量（如果已配置） . 尽管如此，它的意外行为，应该是在删除后从最新的数据中获取数据 .

但我发现它不是 . 在使用数据之前，我看到所有的偏移都被清理干净了 . 然后，由于默认行为，它应该按预期获取数据 . 但由于数据太多，它仍然会崩溃 .

当我使用“Kafka-Console-Consumer”清理偏移并消耗最新数据并运行我的应用程序时，它按预期工作 .

So it looks "auto.reset.offset" does not work and kafka consumer in spark streaming fetches data from the "smallest" offset as default.

您是否知道如何从最新的火花流中消耗Kafka数据？

我使用的是spark-1.0.0和Kafka-2.10-0.8.1 .

提前致谢 .

1 回答