我想创建某种分布式设置，用于在生产环境中运行大量小型/简单的 REST Web 查询。对于从一个节点执行的每 5-10 个相关查询，我将生成非常少量的派生数据，这些数据需要存储在标准的关系数据库（例如 PostgreSQL）中。
为此类问题集构建了哪些平台？性质、数据大小和数量似乎与 Hadoop 的思维方式相矛盾。还有更多基于网格的架构，例如我已经提到的 Condor 和 Sun Grid Engine。我不确定这些平台是否可以从错误中恢复（检查作业是否成功）。
我真正想要的是一个 FIFO 类型的队列，我可以将作业添加到其中，并更新我的数据库的最终结果。
关于这项工作的最佳工具有什么建议吗？