apache-spark - livy - 服务器限制作业数

Question

我正在寻找一些配置，以限制我的 livy 服务器不使用超过 X 核心或作业数量，我看到有人已经在 J​​ira 问题中问过这个问题（https://issues.cloudera.org/browse/LIVY -74 )，他得到的回答是 Yarn 正在这样做，但我不需要纱线，因为我不想控制每个用户的工作/会话，而且我没有任何其他资源可以管理，除了 spark。

Answer 1

您可以以这些属性为例：

livy.spark.driver.cores 1
livy.spark.driver.memory    512m
livy.spark.dynamicAllocation.cachedExecutorIdleTimeout  
livy.spark.dynamicAllocation.enabled    true
livy.spark.dynamicAllocation.initialExecutors   1
livy.spark.dynamicAllocation.maxExecutors   5
livy.spark.dynamicAllocation.minExecutors   1
livy.spark.executor.cores   2
livy.spark.executor.instances   5
livy.spark.executor.memory  2G

Answer 2

从 Livy 0.5 开始，现在有一个配置设置来限制并行运行的作业数量。该设置称为livy.server.session.max-creation：

// Max creating session in livyServer
val SESSION_MAX_CREATION = Entry("livy.server.session.max-creation", 100)

这是介绍它的公关。