python - 在 QDS 上运行命令时如何更改超时值

Question

我有一个调用我的 python 脚本的 spark-submit 命令。代码运行超过 36 小时，但是由于 36 小时的 QDS 超时限制，我的命令在 36 小时后被终止。

有人可以帮我如何将此参数值更改为设置为 50 小时吗？这就是我在 QDS 中调用脚本的方式

/usr/lib/spark/bin/spark-submit s3:///abc.py

Answer 1

我们不能将时间限制配置为超过 36 小时限制。但是我们可以取消对 spark 命令的这个限制。为了从 Analyze/Notebooks 运行 Spark 应用程序，您需要在集群启动之前执行以下操作：

在 Hadoop Configuration Overrides 中编辑集群配置并更新以下配置

yarn.resourcemanager.app.timeout.minutes=-1

在 Spark Configuration Overrides 中编辑集群配置并更新以下配置

spark.qubole.idle.timeout=-1 

请让我知道这可不可以帮你。此外，如果您没有运行流式应用程序，并且您的 spark 应用程序正在处理/访问的数据并不庞大，那么您可能还希望通过一些性能调整来减少应用程序的运行时间（从而可能会减少运行时间您的应用程序的时间少于 36 小时），在这种情况下不需要删除这个 36 小时的限制。