我最近开始使用 LUIGI 并且有几个问题我无法使用文档回答自己
问题是关于 LUIGI 中的作业状态
使用 Luigi,我们可以设置一些全局配置(record_task_history)来跟踪作业的历史记录,它需要设置一个 mysql 数据库。然后可以稍后通过 luigi 可视化器检索和显示此历史记录。
是否支持其他持久性存储?这可以在文本文件中完成吗?(Visualizer 可能无法正常工作,但如果我能以编程方式获取历史状态,我可以接受)
luigi 什么时候真正将状态数据写入持久存储?它是否将其保存在内存中以运行作业并在作业完成后立即转储数据?
- 学习者