parallel-processing - 服务完成任务时通知服务机器的最有效方法（全部在本地网络内）？

Question

我有一个暂定的计划来编写一个脚本，给定一个大型任务，在 linux 机器的本地网络上并行处理该作业。

我的问题是，当孩子完成其大部分工作时，我怎样才能最好地通知将部分工作提供给子计算机的计算机？我的第一个想法是让每个孩子写入一个包含状态更新的已知文件，但这似乎效率低下。有更好的解决方案吗？

PS：我知道这个问题在细节上很少。这是我第一次处理很多这些概念，而且通常涉及到的任何东西。我肯定会边走边学，所以如果有一些我没有包括在内的相关内容，请告诉我，我可以尝试包括在内。

Answer 1

尝试看看 Gearman (http://gearman.org/)。我希望它适合您和我的任务。基本上，它负责所有客户端工作人员通知。你的任务就是拥有两件：

1. 工人将从 Gearman 挑选一份工作，完成工作并返回结果。
2. 客户端会将整个工作分成几块并将其提供给 Gearman，等待一切完成并由 Gearman 返回“线索”结果。

Gearman 只是服务于任务队列的中间人。