2

只是为了提前澄清这只是一个学习项目，我无意在生产中使用它。已经有几个非常好的 Python 应用程序服务器。但是我正在尝试更多地了解并发，所以我开始写我知道的一件事情（我想）。

另外，因为我想“更接近金属”，所以我从 Socket 开始，并希望保持这种状态。

以下是我到目前为止所拥有的重要部分。self.iq 是一个 Queue 对象 (inbound_queue)，它实际上什么都不做，而是将请求（包括套接字对象）放入 outbound_queue，然后 Consumer 对象从 outbound_queue 获取请求并将其传递给 ResponseHandler。这似乎只要我点击它就可以正常工作，但我担心我会通过幼稚的实现向竞争条件敞开心扉。专门将事物分配给特定于请求的 ServerClass 对象。

所以问题是：有没有更好的方法来做到这一点，或者我的队列使用阻止了两个线程在同一个对象上拾取和操作？我是否应该将诸如 WSGI 环境之类的东西封装到一个单独的对象中，该对象也可以传递到队列中？由于需要传入回调函数，因此在尝试编写符合 WSGI 的服务器时，这样做会很棘手。

class Consumer(threading.Thread):

    def __init__(self, out_queue, server):
        threading.Thread.__init__(self)
        self.out_queue = out_queue
        self.server = server

    def run(self):
        while True:
        item = self.out_queue.get()
        self.server.ResponseHandler(self.server, item)
        self.out_queue.task_done()

class QueueConsumerServer(object):

    methods_allowed = ['get', 'post', 'put', 'patch', 'delete', 'options', 'upgrade']

    def __init__(self, host, port, application):
        self.host = host
        self.port = port
        self.application = application
        self.iq = Queue.Queue()
        self.oq = Queue.Queue()

        self.socket = socket.socket()
        self.socket.bind((self.host, self.port))
        #<snip of lots of assigning stuff to environ>
        self.environ = environ
        headers_set = []
        headers_sent = []
        for i in xrange(3):
            thr = Producer(self.iq, self.oq)
            thr.daemon = True
            thr.start()

        for i in xrange(3):
            thr = Consumer(self.oq, self)
            thr.daemon = True
            thr.start()


    def handle_request(self):
        self.socket.listen(1)
        try:
            while True:
                cli, addr = self.socket.accept()
                data = cli.recv(1024)
                request_data = self.parse_request_data(data)
                req.path = request_data[1]
                req.cli = cli
                self.iq.put(req)
                return
        except Exception, ex:
            print 'e', ex,
            sys.exit(1)
        finally:
            sys.stdout.flush()
            self.socket.close()
4

1 回答 1

2

Python 队列是线程安全的，因此在您编写的代码中没有竞争。

关于解决此问题的更好方法，您的代码可能很快就会到达GIL。我建议研究multiprocessing。

于 2013-06-03T16:28:30.840 回答