apache-spark - 广播'对象没有属性'销毁'？

Question

在我的 pyspark 脚本代码中，我声明了一个广播变量。最后，我想破坏这个变量，但是得到

Blockquote AttributeError：“广播”对象没有属性“销毁”

我的代码是这样的：</p>

br = sc.broadcast(my_value)
rdd.map(__my_map_function) # __my_map_function() used br variable
br.destroy()

我的 spark 版本是 1.6.1，我知道类 BroadCast 有 destroy() 方法，但是为什么代码会抛出这个异常？谢谢。

Answer 1

在spark-2.x之前，该destroy方法在 pyspark 中不可用。

如有疑问，您可以查看来源。