我正在尝试从 spark-streaming-kafka-0.8 移动到 spark-streaming-kafka-0.10 并且遇到以下错误： KafkaConsumer is not safe for multi-threaded access
我们在不同的 DC 中有多个 kafka 集群，我想在 Scala Spark Streaming 应用程序中同时使用它们。在 0.8 版中，它可以正常工作——我们刚刚多次调用 createDirectStream，每个集群调用一次。但升级到 0.10 后它停止工作。
我找到的唯一相关答案是：KafkaConsumer 对于来自 SparkStreaming 的多线程访问不安全 ，但它与使用来自同一集群的多个主题有关。目前不可能在一次调用 createDirectStream 中指定多个集群，同时多次调用它会导致错误。
我的问题是：有什么方法可以使用来自多个集群的 spark-streaming-kafka-0.10 数据？