python - 我需要在我的 Spark 集群的每个节点上安装 Koalas 还是只在主节点上安装 Koalas？

Question

我在 Spark+AI 峰会上发现了考拉，它把熊猫带到了 Spark。

据我所知，如果我需要mapSpark 的第三方功能DataFrame，我必须在我的 Spark 集群的每个节点上安装该软件包。

考拉也是这样吗？或者我只需要pip install koalas在我的主节点上运行，让 Koalas 和 Spark 来处理其余的事情？

除了pip install koalas. _ _

Answer 1

是的，您需要在集群的所有节点上安装考拉。通常，所有第 3 方库都需要安装在集群的所有节点上。