我有一个Zookeeper写的配置信息。我正在使用 Apache Curator 通过 Curator Watcher 读取配置(如果有更好的读取解决方案,我很乐意使用它),因此如果 Zookeeper 中的配置发生更改,我将收到新的配置。我在 Spark 中使用这个配置。如何将它共享给同一应用程序的所有 Spark 执行器?
谢谢!
乐:
谢谢迪凯,
在以下代码中,您将在哪里执行观察程序?我是新来的火花,我不确定每个工人会发生什么。
谢谢!
final JavaDStream<ElementMessage> nodeMessageStream = mapWithStateDistinctAndFiltered.flatMap(pair -> pair._2.buildElementMessages())
.filter(f -> f != null);
nodeMessageStream.foreachRDD(rdd -> {
rdd.foreachPartition(r -> {
final ElementRecordRestClient rest = new ElementRecordRestClient(
startProps.getProperty(InputPropertyKey.WEPAPP_URL.toString()));
r.forEachRemaining(message -> {
rest.createObject(message.toElementRecord());
});
});
});