mapreduce - Quartz 等待一组作业完成

Question

我们有一个 quatz 作业，它进行大量计算并且需要一段时间才能完成。为了加快速度，我们希望拆分主要作业以启动多个较小的作业来进行计算并返回结果。在所有小工作完成后，我们需要一个将小计汇总在一起的最终工作。

目前的想法是每个小作业都将写入存储，并且在创建最终作业时，我们使用 MapData 将所有小作业名称传递给它。最终作业将查找这些作业并重新安排（如果找到），否则将计算总数。

有没有更好的方法在石英中实现这一点？

Answer 1

这不一定是回答问题，但恐怕我不认为 Quartz 是这里工作的工具。它是一个调度程序，而不是一种负载平衡机制。您可以考虑将 Quartz 与 NServiceBus 或 MassTransit 结合使用。该作业可以为小型作业触发多条消息，甚至可能使用相同的消息类型和Distributor并使用Saga将所有内容重新组合在一起。