2

作为 Luigi 管道的一部分,我们希望通知微服务等待使用 POST 请求计算的数据。

到目前为止,我们一直在使用,RunAnywayTarget但如果我们启动 Luigi 的速度快于数据更改的速度,就会出现问题。所以我的问题是,

创建在管道中执行某些操作但不创建任何数据的任务的最佳模式是什么,例如向 REST 服务发出 POST 请求、向 Kafka 发送消息等...?

我知道我可以创建一个没有输出的任务,它在 run 方法中执行请求,但是如果由于某种原因最终服务在第一次运行期间失败,应该如何再次重新运行此 NotificationTask?依赖项将在那里,并且不会再次运行。

4

1 回答 1

0

我会继续为该任务创建一个独特的输出,即使该输出未用于您的进一步处理。这只是一个标志,表明具有特定输入集的任务已成功完成。你可以做一个简单的 FileTarget、一个 PostgresTarget 等。

于 2016-11-29T14:17:13.333 回答