3

我有一个库的 ctypes 包装器。不幸的是，这个库不是 100% 可靠的（偶尔的段错误等）。由于它的使用方式，我希望包装器对库崩溃具有合理的弹性。

做到这一点的最好方法似乎是分叉一个过程并将结果从孩子那里发回。我想按照以下方式做一些事情：

r, w = os.pipe()
pid = os.fork()

if pid == 0:
    # child
    result = ctypes_fn()
    os.write(w, pickle.dumps(result))
    os.close(w)
else:
    # parent
    os.waitpid(pid, 0)
    result = os.read(r, 524288) # can be this big
    os.close(r)

    return pickle.loads(result)

不过，这并不完全奏效。分叉的进程在写入时挂起。我想一次发送太多吗？这个问题有更简单的解决方案吗？

4

3 回答 3

4

可能您正在尝试写入比管道无法容纳的更多数据，因此它会阻塞，直到有人出现并从那里读取一些信息。这永远不会发生，因为唯一的读取器是父进程，您似乎已经编写了它以等待子进程终止，然后再读取任何内容。这就是我们所说的死锁。

您可以考虑取消 os.waitpid 调用，看看会发生什么。另一种选择是查看 os.pipe 是否有任何方法可以为其提供更大的缓冲区（我不知道你的环境足以说明）。

于 2009-04-16T17:45:01.283 回答
2

基本问题是管道上有 64kB 的限制。一些可能的解决方案，从简单到复杂：

  1. 发送更少的数据。zlib.compress 可以帮助降低限制。
  2. 将实际数据存储在其他地方（文件、mmap、memcache），仅使用管道发送控制信息。
  3. 继续使用管道，但将输出分块。使用两组管道，以便进程可以相互通信并同步它们的通信。代码更复杂，但在其他方面非常有效。
于 2009-04-16T19:15:57.040 回答
0

ted.dennison 提到的死锁的一种解决方案是以下伪代码：

#parent
while waitpid(pid, WNOHANG) == (0, 0):
    result = os.read(r, 1024)
    #sleep for a short time
#at this point the child process has ended 
#and you need the last bit of data from the pipe
result = os.read(r, 1024)
os.close(r)

带有 WNOHANG 选项的 Waitpid 导致 waitpid 在子进程尚未退出时立即返回。在这种情况下，它返回 (0,0)。您需要确保不要像上面的代码那样每次通过循环覆盖结果变量。

于 2009-04-16T19:15:38.583 回答