python - 特定于 azkaban 流程的每次执行的 python 虚拟环境

Question

我在一个项目中有多个 azkaban 流程。大多数命令都是 python 脚本，它们都以预定的方式运行。作业节点如下所示：

nodes:
  - name: Start
    type: command
    config:
      command: printenv

  - name: Install Python Requirements
    type: command
    config:
      command: pip3 install -r requirements.txt
    dependsOn:
      - Start

  - name: CustomLogic
    type: command
    config:
      command: python3 test.py
    dependsOn:
      - Install Python Requirements

在第二步失败的计划执行中存在间歇性错误。我想知道这可能是因为我在命令中使用了全局 python。

有没有一种很好的可扩展方式，我可以在所有执行之前生成一个新的 python virtualenv 并在其中运行它们？