我将 Luigi 用于我的工作流程。我的工作流程分为三个通用部分——导入、分析、导出。在每个部分中,都有多个 Luigi 任务。
我可以将所有内容都放在一个文件中。但是,如果我想将所有内容分开,例如拥有data_import.py
,analysis.py
和export.py
.
例如,如果data_import.py
看起来像:
import luigi
class import_task_A(luigi.Task):
def requires(self):
return []
def output(self):
return luigi.LocalTarget('myfile.txt')
def run(self):
my import stuff
if __name__ == '__main__':
luigi.run()
但是如果 export.py 中的任务依赖于 import.py 中的任务怎么办。我会这样做:
from data_import import import_task_A
import luigi
class export_task_A(luigi.Task):
def requires(self):
return import_task_A()
def output(self):
return luigi.LocalTarget('myfile.txt')
def run(self):
my import stuff
if __name__ == '__main__':
luigi.run()
如果我将较大的项目分解为多个.py
文件,那么告诉 Luigi 哪些必需任务在哪个文件中的最佳方法是什么?似乎这种方法会变得很麻烦。