apache-spark - 确保火花流中的对象在特定节点上运行

Question

假设您有一个火花流设置，例如

JavaReceiverInputDStream<...> rndLists = jssc.receiverStream(new JavaRandomReceiver(...));

rndLists.map(new NeuralNetMapper(...))
    .foreach(new JavaSyncBarrier(...));

有什么方法可以确保将 JavaRandomReceiver 和 JavaSyncBarrier 分发到同一个节点？或者这甚至是一个有意义的问题？

一些关于 spark-streaming 如何跨集群分配工作的信息也将不胜感激。

Answer 1

您可以尝试自定义分区。检查此链接：

https://www.safaribooksonline.com/library/view/learning-spark/9781449359034/ch04.html