google-cloud-dataflow - BeamDagRunner 依赖打包问题

Question

我试图使用BeamDagRunner运行 TFX 管道，我使用 Dataflow 来编排管道和执行 tfx 组件。但是我无法执行组件，并且我的数据流作业失败说 setup.py not found。我相信正在发生的事情是我的组件数据流作业通过了光束管道 arg --setup_file=/path/to/setup.py 但该路径在编排器数据流机器上不存在，仅在我的本地。有没有办法可以将其正确传递给我的组件管道参数？当我使用 DirectRunner 进行编排时，这可以按预期工作，因为在本地路径上找到了 setup.py。

小片段：

from tfx.orchestration.beam.beam_dag_runner import BeamDagRunner
from tfx.orchestration import pipeline

BeamDagRunner(
    beam_orchestrator_args=[
        '--setup_file=./setup.py',
        '--runner=DataflowRunner'
    ] 
).run(
    pipeline.Pipeline(
        ...
        beam_pipeline_args=[
            '--setup_file=./setup.py',
            '--runner=DataflowRunner'
        ]
    )
)

此代码段应在 Dataflow 上运行协调器，并使用数据流执行组件。但是组件失败说 setup.py 找不到。