1

我正在使用 Mosaic Decisions 开发一些 ETL 工作。在运行作业时，它使用默认配置将作业提交给 Spark。这个默认配置真的很大，我不需要那么多的开发（因为我在开发时使用较少的记录进行单元测试）。

有没有一种方法可以指示 Mosaic 在我的开发中使用更少的 Spark 资源？这样我就不会不必要地阻塞集群的资源？

4

1 回答 1

2

是的，有可能实现这一目标。为此，您必须使用Manager 角色(LTI Mosaic Manager)中的所需资源配置创建新的运行配置。然后，只需使用新创建的运行配置执行流程。

按照以下步骤创建新的运行配置：

  1. 登录Mosaic Decisions并在右上角，单击项目，然后单击Manager。

马赛克管理器

  1. 在Mosaic Manager中，单击Runconfig左侧导航面板中的选项卡。
  2. 点击Add New Configuration。提供所需的配置并单击Save。

在 Mosaic Manager 中添加新的 runco​​nfig

  1. 返回，并使用新创建的运行配置Mosaic Decisions执行所需的流程

在执行流程时选择创建的运行配置

于 2020-07-28T15:49:22.827 回答