apache-spark - 如何在 Spark scala 中跨执行程序广播对象？

Question

我确信我们可以广播变量的值，但我不确定如何跨执行程序广播在驱动程序中创建的对象。我正在为我的 Scala 程序中的第三方 Java 类创建一个对象。我想将类的同一个实例共享给所有执行者，而不是创建多个对象。

我发现广播方法可用于广播变量的值。但我不知道这是否可以用于广播对象。请发表您的建议

Answer 1

使用广播，您也可以广播对象。请参阅广播 API

broadcast[T](value: T)(implicit arg0: ClassTag[T]): Broadcast[T]
Broadcast a read-only variable to the cluster, returning a     org.apache.spark.broadcast.Broadcast object for reading it in distributed functions.

广播变量应该是只读的，所以你应该担心它是同一个实例还是不同的实例。