0

所以让我们想象一个我们想要使用 cElementTree.iterparse 进行迭代解析的大型 xml 文档（文件大小 > 100 mb）。

但是英特尔向我们承诺的所有这些内核都是值得的，我们如何使用它们？这就是我想要的：

from itertools import islice
from xml.etree import ElementTree as etree

tree_iter = etree.iterparse(open("large_file.xml", encoding="utf-8"))

first = islice(tree_iter, 0, 10000)
second = islice(tree_iter, 10000)

parse_first()
parse_second()

这似乎有几个问题，尤其是 iterparse() 返回的迭代器似乎抵制切片。

有没有办法将大型 xml 文档的解析工作量分成两个或四个单独的任务（不将整个文档加载到内存中？目的是在单独的处理器上执行任务。

4

1 回答 1

0

我认为您需要一个带有任务队列的良好线程池。我发现（并使用）了这个非常好的一个（它在 python3 中，但转换为 2.x 应该不会太难）：

# http://code.activestate.com/recipes/577187-python-thread-pool/

from queue import Queue
from threading import Thread

class Worker(Thread):
    def __init__(self, tasks):
        Thread.__init__(self)
        self.tasks = tasks
        self.daemon = True
        self.start()

    def run(self):
        while True:
            func, args, kargs = self.tasks.get()
            try: func(*args, **kargs)
            except Exception as exception: print(exception)
            self.tasks.task_done()

class ThreadPool:
    def __init__(self, num_threads):
        self.tasks = Queue(num_threads)
        for _ in range(num_threads): Worker(self.tasks)

    def add_task(self, func, *args, **kargs):
        self.tasks.put((func, args, kargs))

    def wait_completion(self):
        self.tasks.join()

现在您可以在 iterparse 上运行循环并让线程池为您分配工作。使用它很简单：

def executetask(arg):
    print(arg)

workers = threadpool.ThreadPool(4) # 4 is the number of threads
for i in range(100): workers.add_task(executetask, i)

workers.wait_completion() # not needed, only if you need to be certain all work is done before continuing
于 2011-01-22T12:24:37.230 回答