java - 故障后如何正确重新定义/重新启动 Jet 的工作？

Question

Jet 的手册说，一份工作可以提交多次。但是，当我在一些异常后尝试重新启动它时，我会得到像“无法重新启动失败的作业”这样的异常。如果我什么都不做，我不会有任何异常，但计算不会在管道内执行。

提前致谢！

Answer 1

这是 Jet 0.6.1 手册中的一个勘误：

同一个Job实例可以多次提交执行。

您实际提交执行的是 aPipeline或 a Dag，而 aJob是您对一个特定执行的句柄。因此，您可以获得Job相同Pipeline或的许多实例Dag。Job.restart()并不意味着“从头开始”，而是“停止并开始”同一个工作，从它离开的地方继续。

一旦作业失败，您可以自由地提交具有相同Pipeline实例的另一个作业，但没有任何机制可以在任何失败后自动从头开始重试。

Answer 2

重启方法只对正在运行的作业有效。一旦作业失败，目前无法重新开始。如果失败，您需要做的是再次提交相同的工作作为新工作。对于流式作业，您可能希望处理任何间歇性异常，以免它们导致作业失败。