c# - 用于目录遍历的任务并行库

Question

我想遍历硬盘驱动器上的一个目录并在所有文件中搜索特定的搜索字符串。这听起来像是可以（或应该）并行完成的事情的完美候选者，因为 IO 相当慢。

传统上，我会编写一个递归函数来查找和处理当前目录中的所有文件，然后递归到该目录中的所有目录。我想知道如何将其修改为更加并行。起初我只是简单地修改：

foreach (string directory in directories) { ... }

到

Parallel.ForEach(directories, (directory) => { ... })

但我觉得这可能会创建太多任务并使自己陷入困境，尤其是在尝试分派回 UI 线程时。我也觉得任务的数量是不可预测的，这可能不是并行化（这是一个词吗？）这个任务的有效方法。

有没有人成功地做过这样的事情？你有什么建议？

score 15 · Accepted Answer

不，这听起来不太适合并行化，正是因为 IO 很慢。你将被磁盘绑定。假设你只有一个磁盘，你真的不想让它同时寻找多个不同的地方。

这有点像尝试将多个软管连接到同一个水龙头以更快地排出水 - 或者尝试在单个内核上运行 16 个 CPU 绑定线程:)

1 回答 1