python - 执行线程 5 by 5

Question

我有一个庞大的信息列表，我的程序应该分析其中的每一个。为了加快速度，我想使用线程，但我想将它们限制为 5。所以我需要用 5 个线程创建一个循环，当一个线程完成他们的工作时，抓取一个新线程直到列表末尾。但我不知道该怎么做。我应该使用队列吗？现在我只是以最简单的方式运行 5 个线程：谢谢！

for thread_number in range (5):
    thread = Th(thread_number)
    thread.start()

Answer 1

看来你想要一个线程池。如果您使用的是 python 3，那么您很幸运：有一个ThreadPoolExecutor 类

否则，从这个 SO question中，您可以找到各种解决方案，无论是手工制作还是使用 python 库中的隐藏模块。

Answer 2

将工作线程和任务的想法分开——不要让一个工作人员在一项任务上工作，然后终止线程。相反，生成 5 个线程，让它们都从一个公共队列中获取任务。让他们每个人都进行迭代，直到他们从队列中收到一个通知他们退出的哨兵。

这比仅在完成一项任务后不断产生和终止线程更有效。

import logging
import Queue
import threading
logger = logging.getLogger(__name__)
N = 100
sentinel = object()

def worker(jobs):
    name = threading.current_thread().name
    for task in iter(jobs.get, sentinel):
        logger.info(task)
    logger.info('Done')


def main():
    logging.basicConfig(level=logging.DEBUG,
                            format='[%(asctime)s %(threadName)s] %(message)s',
                            datefmt='%H:%M:%S')

    jobs = Queue.Queue()
    # put tasks in the jobs Queue
    for task in range(N):
        jobs.put(task)

    threads = [threading.Thread(target=worker, args=(jobs,))
               for thread_number in range (5)]
    for t in threads:
        t.start()
        jobs.put(sentinel)     # Send a sentinel to terminate worker
    for t in threads:
        t.join()

if __name__ == '__main__':
    main()