python - python：嵌套线程SimpleXMLRPCServers时的httplib.CannotSendRequest

Question

在使用使用 SocketServer.ThreadingMixin 的 SimpleXMLRPCServer 链时，我间歇性地收到 httplib.CannotSendRequest 异常。

我所说的“链”是指：

我有一个客户端脚本，它使用 xmlrpclib 调用 SimpleXMLRPCServer 上的函数。该服务器又调用另一个 SimpleXMLRPCServer。我意识到这听起来多么令人费解，但是选择这种架构是有充分理由的，我看不出有什么理由不应该这样做。

(testclient)client_script ---calls--> 
    (middleserver)SimpleXMLRPCServer ---calls---> 
        (finalserver)SimpleXMLRPCServer --- does something

如果我不使用 SocketServer.ThreadingMixin 则不会发生此问题（但我需要请求是多线程的，所以这无济于事。）
如果我只有一个级别的服务（即直接调用最终服务器的客户端脚本），这不会发生。

我已经能够在下面的简单测试代码中重现该问题。有以下三个片段：

最终服务器：

import SocketServer
import time
from SimpleXMLRPCServer import SimpleXMLRPCServer
from SimpleXMLRPCServer import SimpleXMLRPCRequestHandler

class AsyncXMLRPCServer(SocketServer.ThreadingMixIn,SimpleXMLRPCServer): pass

# Create server
server = AsyncXMLRPCServer(('', 9999), SimpleXMLRPCRequestHandler)
server.register_introspection_functions()

def waste_time():
    time.sleep(10)
    return True

server.register_function(waste_time, 'waste_time')
server.serve_forever()

中间服务器：

import SocketServer
from SimpleXMLRPCServer import SimpleXMLRPCServer
from SimpleXMLRPCServer import SimpleXMLRPCRequestHandler
import xmlrpclib

class AsyncXMLRPCServer(SocketServer.ThreadingMixIn,SimpleXMLRPCServer): pass

# Create server
server = AsyncXMLRPCServer(('', 8888), SimpleXMLRPCRequestHandler)
server.register_introspection_functions()

s = xmlrpclib.ServerProxy('http://localhost:9999')
def call_waste():
    s.waste_time()
    return True

server.register_function(call_waste, 'call_waste')
server.serve_forever()

测试客户端：

import xmlrpclib
s = xmlrpclib.ServerProxy('http://localhost:8888')
print s.call_waste()

要重现，应使用以下步骤：

运行 python finalserver.py
运行 python middleserver.py
运行 python testclient.py
当 (3) 仍在运行时，运行另一个 python testclient.py 实例

很多时候（几乎每次）您第一次尝试运行第 4 步时都会收到以下错误。有趣的是，如果您立即尝试再次运行第 (4) 步，则不会发生错误。

Traceback (most recent call last):
  File "testclient.py", line 6, in <module>
    print s.call_waste()
  File "/usr/lib64/python2.7/xmlrpclib.py", line 1224, in __call__
    return self.__send(self.__name, args)
  File "/usr/lib64/python2.7/xmlrpclib.py", line 1578, in __request
    verbose=self.__verbose
  File "/usr/lib64/python2.7/xmlrpclib.py", line 1264, in request
    return self.single_request(host, handler, request_body, verbose)
  File "/usr/lib64/python2.7/xmlrpclib.py", line 1297, in single_request
    return self.parse_response(response)
  File "/usr/lib64/python2.7/xmlrpclib.py", line 1473, in parse_response
    return u.close()
  File "/usr/lib64/python2.7/xmlrpclib.py", line 793, in close
    raise Fault(**self._stack[0])
xmlrpclib.Fault: <Fault 1: "<class 'httplib.CannotSendRequest'>:">

互联网似乎说这个异常可能是由于多次调用 httplib.HTTPConnection.request 而没有干预 getresponse 调用。但是，Internet 并没有在 SimpleXMLRPCServer 的上下文中讨论这个问题。任何有关解决 httplib.CannotSendRequest 问题的指示将不胜感激。

==================================================== =========================================== 答案：

好吧，我有点傻。我想我盯着代码看的时间太长了，以至于我错过了直面我的明显解决方案（从字面上看，因为答案实际上是在实际问题中。）

基本上，CannotSendRequest 发生在 httplib.HTTPConnection 被介入的“请求”操作中断时。每个 httplib.HTTPConnection.request 必须与 .getresponse() 调用配对。如果该配对被另一个请求操作中断，则第二个请求将产生 CannotSendRequest 错误。所以：

connection = httplib.HTTPConnection(...)
connection.request(...)
connection.request(...)

将失败，因为在调用任何 getresponse 之前，您在同一连接上有两个请求。

将其与我的问题联系起来：

三个程序中唯一建立此类连接的地方是 serverproxy 调用。
该问题仅在线程期间发生，因此很可能是竞争条件。
共享 serverproxy 调用的唯一位置是 middleserver.py

那么解决方案显然是让每个线程创建它自己的服务器代理。中间服务器的固定版本如下，它可以工作：

import SocketServer
from SimpleXMLRPCServer import SimpleXMLRPCServer
from SimpleXMLRPCServer import SimpleXMLRPCRequestHandler
import xmlrpclib

class AsyncXMLRPCServer(SocketServer.ThreadingMixIn,SimpleXMLRPCServer): pass

# Create server
server = AsyncXMLRPCServer(('', 8888), SimpleXMLRPCRequestHandler)
server.register_introspection_functions()

def call_waste():
    # Each call to this function creates its own serverproxy.
    # If this function is called by concurrent threads, each thread
    # will safely have its own serverproxy.
    s = xmlrpclib.ServerProxy('http://localhost:9999')
    s.waste_time()
    return True

server.register_function(call_waste, 'call_waste')
server.serve_forever()

由于此版本导致每个线程都有自己的 xmlrpclib.serverproxy，因此不存在同一serverproxy 实例连续多次调用 HTTPConnection.request 的风险。这些程序按预期工作。

抱歉打扰了。

score 13 · Accepted Answer

好吧，我有点傻。我想我盯着代码看了很长时间，以至于我错过了盯着我的明显解决方案（从字面上看，因为答案实际上是在实际问题中。）

基本上，CannotSendRequest 发生在 httplib.HTTPConnection 被介入的“请求”操作中断时。基本上，每个 httplib.HTTPConnection.request 都必须与 .getresponse() 调用配对。如果该配对被另一个请求操作中断，则第二个请求将产生 CannotSendRequest 错误。所以：

connection = httplib.HTTPConnection(...)
connection.request(...)
connection.request(...)

将失败，因为在调用任何 getresponse 之前，您在同一连接上有两个请求。

将其与我的问题联系起来：

三个程序中唯一建立此类连接的地方是 serverproxy 调用。
该问题仅在线程期间发生，因此很可能是竞争条件。
共享 serverproxy 调用的唯一位置是 middleserver.py

那么解决方案显然是让每个线程创建它自己的服务器代理。中间服务器的固定版本如下，它可以工作：

import SocketServer
from SimpleXMLRPCServer import SimpleXMLRPCServer
from SimpleXMLRPCServer import SimpleXMLRPCRequestHandler
import xmlrpclib

class AsyncXMLRPCServer(SocketServer.ThreadingMixIn,SimpleXMLRPCServer): pass

# Create server
server = AsyncXMLRPCServer(('', 8888), SimpleXMLRPCRequestHandler)
server.register_introspection_functions()

def call_waste():
    # Each call to this function creates its own serverproxy.
    # If this function is called by concurrent threads, each thread
    # will safely have its own serverproxy.
    s = xmlrpclib.ServerProxy('http://localhost:9999')
    s.waste_time()
    return True

server.register_function(call_waste, 'call_waste')
server.serve_forever()

由于此版本导致每个线程都有自己的 xmlrpclib.serverproxy，因此 serverproxy 不存在连续多次调用 HTTPConnection.request 的风险。这些程序按预期工作。

抱歉打扰了。

python - python：嵌套线程SimpleXMLRPCServers时的httplib.CannotSendRequest

1 回答 1

Related

Reference