python - Luigi Python 中的资源是什么？

Question

在 Web 界面和https://github.com/spotify/luigi/blob/master/luigi/task.py中，我可以看到一个任务可以有“资源”。在一个名为 process_resources() 的 Task 类中还有一个占位符函数，它只返回作为资源的空字典。

这个神秘的资源是什么东西？

Answer 1

我没有对此进行测试，但它看起来像是一个任意值，调度程序可以使用它来确定是否根据配置中的值限制作业。从文档：

此部分可以包含任意键。这些中的每一个都指定了调度程序可以允许工作人员使用的全局资源的数量。调度程序将防止运行具有指定资源的作业超过本节中的计数。假定未指定的资源具有限制 1。具有 2 个 hive 资源和 1 个 mysql 资源的配置的示例资源部分：

[resources]
hive: 2
mysql: 1

请注意，这里没有必要为 mysql 指定 1，但是当您拥有一组固定的资源时，这样做是一种很好的做法。