我的 Spark 流应用程序从 Kafka 获取数据并对其进行处理。
如果应用程序发生故障，Kafka 中会存储大量数据，并且在下次启动 Spark Streaming 应用程序时，它会因为一次消耗的数据过多而崩溃。由于我的应用程序不关心过去的数据，因此只使用当前（最新）数据是完全可以的。
我找到了“auto.reset.offest”选项，它在 Spark 中的行为几乎没有什么不同。如果已配置，它将删除存储在 zookeeper 中的偏移量。然而，尽管它的行为出人意料，但它应该在删除后从最新的数据中获取数据。
但我发现不是。我看到在使用数据之前清除了所有偏移量。然后，由于默认行为，它应该按预期获取数据。但是由于数据过多，它仍然会崩溃。
当我使用“Kafka-Console-Consumer”清理偏移量并使用最新的数据并运行我的应用程序时，它按预期工作。
所以看起来“auto.reset.offset”不起作用，并且火花流中的kafka消费者默认从“最小”偏移量获取数据。
您对如何使用最新的 Spark 流中的 Kafka 数据有任何想法吗？
我正在使用 spark-1.0.0 和 Kafka-2.10-0.8.1。
提前致谢。