3

有人知道这段代码有什么问题吗？它只是永远“加载”。没有输出。“站点”是几十个字符串的列表。

num_worker_threads = 30

def mwRegisterWorker():
    while True:
        try:
            print q.get()
        finally:
            pass

q = multiprocessing.JoinableQueue()
for i in range(num_worker_threads):
     gevent.spawn(mwRegisterWorker)

for site in sites:
    q.put(site)

q.join()  # block until all tasks are done
4

2 回答 2

11

gevent.spawn()创建greenlets而不是进程（甚至更多：所有greenlets都在单个操作系统线程中运行）。所以multiprocessing.JoinableQueue这里不合适。

gevent基于协作多任务处理，即，直到您调用切换到gevent事件循环的阻塞函数，其他greenlet 将不会运行。例如conn，下面使用修补的 gevent 套接字方法，允许其他 greenlet 在等待站点回复时运行。如果没有pool.join()它，就会放弃对运行事件循环的 greenlet 的控制，不会建立任何连接。

要在向多个站点发出请求时限制并发性，您可以使用gevent.pool.Pool：

#!/usr/bin/env python
from gevent.pool import Pool
from gevent import monkey; monkey.patch_socket()
import httplib # now it can be used from multiple greenlets

import logging
info = logging.getLogger().info

def process(site):
    """Make HEAD request to the `site`."""
    conn = httplib.HTTPConnection(site)
    try:
        conn.request("HEAD", "/")
        res = conn.getresponse()
    except IOError, e:
        info("error %s reason: %s" % (site, e))
    else:
        info("%s %s %s" % (site, res.status, res.reason))
    finally:
        conn.close()

def main():
    logging.basicConfig(level=logging.INFO, format="%(asctime)s %(msg)s")

    num_worker_threads = 2
    pool = Pool(num_worker_threads)    
    sites = ["google.com", "bing.com", "duckduckgo.com", "stackoverflow.com"]*3
    for site in sites:
        pool.apply_async(process, args=(site,))
    pool.join()

if __name__=="__main__":
   main()
于 2011-09-25T19:17:12.063 回答
3

改为使用gevent.queue.JoinableQueue。绿色线程（gevent内部使用它）既不是线程也不是进程，而是带有用户级调度的协程。

于 2011-09-25T20:39:02.027 回答