我正在尝试使用luigi编写一个 etl 管道。据我从文档中了解到，luigi 中的任务可以生成一个目标，该目标可以是某种类型的文件存储或数据库。为了减少处理时间，我希望有一个内存列表作为输出。这可能吗？我必须创建自定义目标吗？
问问题
2515 次
1 回答
8
我发现我可以使用 MockFile 作为目标。一个很好的例子：
http://gouthamanbalaraman.com/blog/building-luigi-task-pipeline.html
于 2016-07-18T11:21:06.870 回答