4

我正在使用 Python 2.7 和zeroRPC使客户端和服务器进行通信。我希望客户端向服务器发送请求，并且我希望服务器发送响应以确认它已收到请求。但是我希望服务器对该请求执行一些繁重的计算。这些计算将花费数小时并且不会产生任何响应，因此客户端不应一直等待；客户端-服务器连接应在服务器确认已收到请求后立即终止。我怎样才能做到这一点？

这是我现在拥有的（简化）。

服务器代码：

impor time
import zerorpc

class HelloRPC(object):
    def hey(self, name):
        print 'Hey, %s' % name # just so I can check that the request was received
        # send response confirming that request was received
        # terminate connection
        time.sleep(100000000000000) # some heavy computations

s = zerorpc.Server(HelloRPC())
s.bind('tcp://0.0.0.0:4242')
s.run()

客户端代码：

import zerorpc

c = zerorpc.Client()
c.connect('tcp://MyServerName:4242')
c.hey('macarena')

它不起作用：我得到zerorpc.exceptions.LostRemote: Lost remote after 10s heartbeat. 我知道我可以使用该heartbeat参数使连接无限期地持续，但正如我所说，计算将花费数小时并且不会产生任何响应，所以我认为我不应该保持连接有效。

我读过关于 gevent 的文章，但我不知道如何将它用于此目的（它甚至是适合这项工作的工具吗？）。我应该使用 Python 的多处理包来生成子进程或类似的东西吗？如何处理这种事情？

4

1 回答 1

6

发生这种情况是因为服务器没有发回心跳。主线程在一些非 gevent 合作循环中被阻塞大约 10 秒（默认心跳频率的 2 倍）。

Gevent 合作运行你的协程（greenlets）。如果协程从不让步到 gevent 循环，它会阻塞循环。

也许您的任务受 CPU 限制，在这种情况下，您正试图保持合作，同时在 CPU 上长时间搅动比特。有两种方法可以使用 zerorpc（和 gevent）运行 CPU 绑定代码：

  • 定期返回给 gevent IOLoop ( gevent.sleep(0))。由于默认心跳是 5 秒，并且假设在两倍的心跳频率后断开连接，因此您必须大约每 5 秒让步一次以确保安全。

  • 更通用的解决方案是在自己的进程中运行 CPU 绑定代码（例如，每个 CPU 一个进程）：

    • 一个进程将是您的服务 API，可通过网络访问（启用了心跳的zerorpc.Server）。这个过程从不阻塞，并尊重协作调度。
    • 与 CPU 一样多的进程用于密集计算。
    • 您的服务 API 和您的 CPU 绑定进程与 zerorpc 通信，但这次关闭了心跳（并且可能是一个非常长的超时值）。
    • 在服务 API 进程中，您可以控制自己对 CPU 绑定进程的争用。
于 2015-06-23T21:20:25.220 回答