python - 带有内部输入的 Ruffus 管道

Question

我想用 Python 的 Ruffus 包创建一个管道，我正在努力解决它最简单的概念。两个任务应该一个接一个地执行。第二个任务取决于第一个任务的输出。在 Ruffus 文档中，所有内容都是为从外部文件导入/导出而设计的。我想处理字典等内部数据类型。

问题是@follows 不接受输入，@transform 不接受字典。我错过了什么吗？

def task1():
    # generate dict
    properties = {'status': 'original'}
    return properties

@follows(task1)
def task2(properties):
    # update dict
    properties['status'] = 'updated'
    return properties

最终，管道应该在一个类中组合一组函数，这些函数可以随时更新类对象。

Answer 1

当有输入/输出文件时，你应该只使用 Ruffus 装饰器。例如，如果task1生成file1.txt，这是生成的输入task2，file2.txt那么您可以编写如下管道：

@originate('file1.txt')
def task1(output):
    with open(output,'w') as out_file:
        # write stuff to out_file

@follows(task1)
@transform(task1, suffix('1.txt'),'2.txt')
def task2(input_,output):
    with open(input_) as in_file, open(output,'w') as out_file:
        # read stuff from in_file and write stuff to out_file

如果您只想将字典作为输入，则不需要 Ruffus，您可以适当地对代码进行排序（因为它将按顺序运行）或task1调用task2：

def task1():
    properties = {'status': 'original'}
    return properties

def task2():
    properties = task1()
    properties['status'] = 'updated'
    return properties