1

我正在阅读一篇关于使用队列的 Python 多线程的文章并且有一个基本问题。

根据 print stmt，按预期启动了 5 个线程。那么，队列是如何工作的呢？

1.线程最初是启动的，当队列中填充了一个项目时，它是否会重新启动并开始处理该项目？2.如果我们使用队列系统，线程对队列中的每一项进行处理，性能上会有怎样的提升。是不是类似于串行处理ie；1 比 1。

import Queue
import threading
import urllib2
import datetime
import time

hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com",
"http://ibm.com", "http://apple.com"]

queue = Queue.Queue()

class ThreadUrl(threading.Thread):

  def __init__(self, queue):
    threading.Thread.__init__(self)
    print 'threads are created'
    self.queue = queue

  def run(self):
    while True:
      #grabs host from queue
      print 'thread startting to run'
      now = datetime.datetime.now()

      host = self.queue.get()

      #grabs urls of hosts and prints first 1024 bytes of page
      url = urllib2.urlopen(host)
      print 'host=%s ,threadname=%s' % (host,self.getName())
      print url.read(20)

      #signals to queue job is done
      self.queue.task_done()

start = time.time()
if __name__ == '__main__':

  #spawn a pool of threads, and pass them queue instance 
    print 'program start'
    for i in range(5):

        t = ThreadUrl(queue)
        t.setDaemon(True)
        t.start()

 #populate queue with data   
    for host in hosts:
        queue.put(host)

 #wait on the queue until everything has been processed     
    queue.join()


    print "Elapsed Time: %s" % (time.time() - start)
4

1 回答 1

1

队列类似于列表容器，但具有内部锁定，使其成为一种线程安全的数据通信方式。

当您启动所有线程时会发生什么，它们都在self.queue.get()调用中阻塞，等待从队列中拉出一个项目。当一个项目从您的主线程放入队列时，其中一个线程将被解除阻塞并接收该项目。然后它可以继续处理它，直到它完成并返回到阻塞状态。

您的所有线程都可以同时运行，因为它们都能够从队列中接收项目。这就是您会看到性能改进的地方。如果urlopen和read在一个线程中花费时间并且它正在等待 IO，则意味着另一个线程可以工作。队列对象的工作只是管理锁定访问，并将项目弹出给调用者。

于 2012-12-05T03:29:48.593 回答