apache-spark - Spark 需要多少台 Shark 服务器？

Question

我是 Spark/Shark 的新手，并且已经用三个 Spark 工作人员创建了一个集群。我开始在相同的三台服务器上安装 Shark，但我得出的结论是，这可能不是必需的，只需要一台 Shark 服务器——我在文档中找不到任何与此相关的内容。我是否只需要一台 Shark 服务器，因为 Spark/Hive 将承担繁重的工作，还是需要将其分发到 Spark 所在的所有服务器？

Answer 1

Shark 是一个 Spark 应用程序。它就像一个 WordCount 或 Spark Shell。您需要将它放在要发送查询的客户端计算机上。

如果工作机器上不存在 Shark JARS，则必须将它们附加到 Spark 上下文。

Shark 服务器的工作方式有点像 unix 系统中的“屏幕”。在这种情况下，Shark 服务器是 Spark 中的一个应用程序。您使用 Shark 控制台连接到 Shark 服务器，发送查询，查询由 Spark 上的 Shark 服务器代表您执行。

Answer 2

假设 Shark 是指 ThriftServer，那么每个（Spark）集群只需要一个 Shark。

这甚至会延续到 Spark 1.0.1，因为 ThriftServer 已被引入 Spark 核心本身，因此 Shark 已退役。