0

我们有一个包含 160 个工作节点的 presto 集群。

  • 安装在VM机器（32G + 16 CPU）上的presto coordinator，其他都是worker机器（物理机器）

基本问题是 - - 如果带有 presto 协调器的机器可以为 160 个工人机器服务

除此之外：

  1. 我们如何为 presto 协调器（内存，cpu）进行大小调整？

  2. 协调机的最佳实践尺寸公式是什么？

  3. Dose presto coordinator 可以处理和管理 160 台工人机器吗？,

  4. 剂量 Presto 协调器机器仅限于管理 X 工人机器？

在此处输入图像描述

崇敬 - http://prestodb.github.io/docs/current/overview/concepts.html

协调 器 Presto 协调器是负责解析语句、规划查询和管理 Presto 工作节点的服务器。它是 Presto 安装的“大脑”，也是客户端连接以提交执行语句的节点。每个 Presto 安装都必须有一名 Presto 协调员以及一名或多名 Presto 工作人员。出于开发或测试目的，可以配置单个 Presto 实例来执行这两个角色。

协调器跟踪每个工作人员的活动并协调查询的执行。协调器创建涉及一系列阶段的查询的逻辑模型，然后将其转换为在 Presto 工作人员集群上运行的一系列连接任务。

协调器使用 REST API 与工作人员和客户端进行通信。

工作 器 Presto 工作器是 Presto 安装中的服务器，负责执行任务和处理数据。工作节点从连接器获取数据并相互交换中间数据。协调器负责从工作人员那里获取结果并将最终结果返回给客户端。

当 Presto 工作进程启动时，它会将自己通告给协调器中的发现服务器，这使得 Presto 协调器可以使用它来执行任务。

工作人员使用 REST API 与其他工作人员和 Presto 协调员进行通信。

4

1 回答 1

4

TL; DR一般来说，协调器可以轻松处理比 160 多得多的工作节点，但您的里程可能会有所不同。

加长版 Presto 协调器可以管理 1000 名工人。但是，您需要的是具有特定内存和 CPU 资源的协调器。答案是——视情况而定。

协调器跟踪跨工作人员的任务执行，因此内存限制取决于查询的复杂性。此外，当您查询分区表时（例如在 S3、Hive 中），查询访问的分区的一些信息需要保存在内存中。当您有多个查询时，这会累加。

于 2019-02-19T19:36:14.800 回答