0

我有一个包含数十万行的巨大文件。我需要在每一行上运行相同的进程。我的计划是创建几个线程来加快进程。每当我在使用踩踏和队列模块之前进行多线程处理时。但是我不知道如何应用队列。我真正需要做的是逐行读取文件，因为文件太大而无法完成整个操作。我想也许我可以使用 .put() 一次将一件事添加到队列中，然后立即将其传递给线程，但似乎如果我这样做，线程可能会发生冲突。有什么建议么？

4

1 回答 1

0

每行有多少处理。

如果不是很多，那么您可能会因为多个线程争用文件所在的设备而减慢速度？您可能想事先拆分文件并将组件放在不同的设备上？然后，只需为每个文件或每组文件启动一个进程就很简单了。

我会为此使用 split, xargs -P unix 命令

于 2012-05-30T22:44:54.663 回答