1

我试图了解所有“Spark”部分适合 SnappyData 的“统一集群模式”部署拓扑的位置。

在阅读本文时，文档不清楚以下几点：

http://snappydatainc.github.io/snappydata/deployment/#unified-cluster-mode-aka-embedded-store-mode

  1. 谁是大师 - 领导者或定位者？
  2. 奴隶/工人执行... - 领导或服务器？
  3. 执行程序在...上执行-服务器（这在文档中似乎很简单）
  4. 应用程序在...上执行 - 领导或服务器？
  5. 作业在...上执行 - 领导或服务器？
  6. 流在...上执行 - 领导或服务器？
4

1 回答 1

4

SnappyData 是一个点对点的集群，并进行自己的集群管理。因此，它不需要像 Spark 独立集群管理器和 Yarn 这样的集群管理器来启动/停止 Spark 驱动程序和执行程序。当 SnappyData 引导节点启动时，它会在其中启动一个 Spark 驱动程序，并在所有 SnappyData 服务器内启动 Spark 执行程序。现在回答您的问题：

谁是大师 - 领导者或定位者？

SnappyData 没有 Master。

奴隶/工人执行... - 领导或服务器？

SnappyData 没有奴隶/工人。

执行程序在...上执行-服务器（这在文档中似乎很简单）

正确的。

应用程序在...上执行 - 领导或服务器？作业在...上执行 - 领导或服务器？

Spark 中的应用程序是一组自包含的计算。对于每个 Spark 应用程序，都会启动一个启动 Spark 上下文的驱动程序。Spark 上下文协调应用程序。应用程序结束后上下文和驱动程序消失。从某种意义上说，SnappyData 可以称为长时间运行的 Spark 应用程序，因为它启动了一个 Spark 上下文并保持它在引导节点内运行。SnappyData 作业可以提交到由已经运行的 Spark 上下文执行的引导节点。因此，领导节点（Spark 驱动程序）在实际执行任务的服务器（Spark 执行程序）上安排作业。

流在...上执行 - 领导或服务器？

Spark 执行没有改变。当流作业被提交到领导节点时，它会在其中一个可用服务器上创建一个接收器，然后为接收到的数据安排作业。

于 2016-08-10T03:45:03.173 回答