java - 如何创建一个将工作单元分发给客户端的服务器？

Question

我需要一个 java 应用程序来管理数据库以将工作单元分配给它的客户。实际上，它是一个网格应用程序：数据库充满了客户端的输入参数，并且它的所有元组都必须分发给请求的客户端。在客户端发送他们的结果并且服务器相应地修改数据库之后（例如标记计算的元组）。
现在假设我有一个充满元组的数据库（SQLite 或 MySQL），并且客户端请求一组输入元组：我希望将一组工作单元专门发送给一个唯一的客户端，所以我需要标记它们“已经被另一个客户请求”。如果我在数据库中查询第一个（例如 5 个）查询，同时另一个客户端发出相同的请求（在多线程服务器架构中并且没有任何同步），我认为两个客户端有可能收到相同的工作单元.

我想象的解决方案可能是：
1）制作一个单线程服务器架构（ ServerSocket.accept() 仅在前一个客户端请求得到处理后才再次调用，以便服务器一次仅由客户端有效访问）
2 ) 在多线程架构中，使查询和元组锁操作同步，这样我就获得了一种原子性（有效地对数据库进行序列化操作）
3) 对数据库服务器（或文件，在SQLite 的情况下），但在这种情况下我需要帮助，因为我不知道事情的真正进展......

但是我希望你理解我的问题：它与 seti@home 非常相似，它分配它的工作单元，但所有分布式单元与其众多客户端的交集为空（理论上）。我的非功能性需求是语言是 java，数据库是 SQLite 或 MySQL。

Answer 1

我建议您阅读一些类似这样的文章，了解 DB 如何为您完成同步工作。

Answer 2

对您的每个潜在解决方案的一些反馈...

1) 做一个单线程的服务器架构（ ServerSocket.accept() 只有在之前的客户端请求被服务后才会再次调用，这样服务器一次只有一个客户端有效地访问）

ServerSocket.accept()不允许您这样做，您可能需要一些其他类型的同步以仅允许一个线程处于getting tuples. 这基本上会引导您找到解决方案 (2)。

2）在多线程架构下，使查询和元组锁定操作同步，这样我就获得了一种原子性（有效地对数据库进行序列化操作）

可行、易于实施和解决问题的常用方法。唯一的问题是您对性能、延迟和吞吐量的关心程度，因为如果您有很多这样的客户端并且工作单元的时间跨度非常短，那么客户端可能最终会锁定 90% 的时间以等待获取“令牌”。

该问题的可能解决方案。对工作单元使用基于散列的分布。假设您有 500 个工作单元要在 50 个客户之间共享。您以这样的方式为您的工作单位提供 ID，以便您哪些客户将获得某些工作单位。最后，您可以通过简单的模块操作来分配节点：

assigned_node_id = work_unit_id % number_of_working_nodes

这种称为pre-allocation的技术不适用于所有类型的问题，因此它取决于您的应用程序。如果您有许多短期运行的进程，请使用此方法。

3）对数据库服务器（或文件，在 SQLite 的情况下）使用原子查询操作，但在这种情况下，我需要帮助，因为我不知道事情的真正进展......

它本质上与 (2) 相同，但如果您能够做到这一点，我怀疑您仅使用 SQL 就可以做到这一点，您最终将与您的 RDBMS 的某些特定功能相关联。很可能您将不得不使用一些非标准的 SQL 程序来实现此解决方案。而且，它不能解决您在解决方案 2 中会发现的问题。

Summary

解决方案 2 更有可能在 90% 的情况下工作，任务越长对该解决方案越好。如果任务的时间很短，肯定会选择pre-allocation基于算法的。

使用解决方案 3，您放弃了可移植性和灵活性。

DRY: try some other Open Source systems ...

很少有开源 java 项目已经处理过这类问题，它们对你来说可能有点矫枉过正，但我​​认为值得一提......

http://www.gridgain.com/

http://www.jppf.org/