问题标签 [directory-walk]

我正在尝试一次处理一个通过网络存储的文件。由于缓冲不是问题，因此读取文件很快。我遇到的问题只是列出文件夹中的目录。在许多文件夹中，每个文件夹至少有 10k 个文件。

性能超级慢，因为 File.list() 返回一个数组而不是一个可迭代的。Java 开始收集文件夹中的所有名称，并在返回之前将其打包到一个数组中。

这个错误条目是http://bugs.sun.com/view_bug.do;jsessionid=db7fcf25bcce13541c4289edeb4?bug_id=4285834并且没有解决方法。他们只是说这已为 JDK7 修复。

几个问题：

1. 有人有解决这个性能瓶颈的方法吗？
2. 我在努力实现不可能吗？即使它只是迭代目录，性能仍然会很差吗？
3. 我可以使用具有此功能的 beta JDK7 构建，而无需在其上构建我的整个项目吗？

对于显示文件树的 URL，例如Pypi 包，是否有一个小的实体模块来遍历 URL 树并列出它ls -lR？
我收集（纠正我）在 html<A属性中没有文件属性、链接类型、大小、日期......的标准编码，
因此在流沙上构建一个可靠的 URLtree 模块很困难。
但是这个轮子（ ）肯定Unix file tree -> html -> treewalk API -> ls -lR or find已经完成了吗？
（那里似乎有几个蜘蛛/网络爬虫/刮板，但到目前为止它们看起来很丑陋和临时，尽管使用 BeautifulSoup 进行解析）。

我需要一个文件系统walker，我可以指示它忽略遍历我想保持不变的目录，包括该分支下的所有子目录。os.walk 和 os.path.walk 就是不这样做。

如何使用 PHP 列出 Windows 共享的内容？

打印(opendir($SearchFolder)); 给出这个错误：

警告：opendir(\192.168.1.100\pdfoutput) [function.opendir]: failed to open dir: No error in C:\Users\gary\Webserver\QuickMail\maildetails.php on line 227

这没有按预期工作。有什么想法吗？

我在我的应用程序中使用 glib，我看到 glib 中有用于Cremove和. 但是这些一次只能处理一个文件或目录。unlinkrmdir

据我所知，C 标准和 glib 都不包含任何类型的递归目录遍历功能。我也没有看到任何特定的方式来一次删除整个目录树，就像rm -rf.

对于我正在做的事情，我不担心任何复杂性，如权限、符号链接备份树（无限递归），或者任何会排除非常幼稚的实现的事情......所以我不反对写我自己的为它发挥作用。

但是，我很好奇这个功能是否已经存在于标准库 gtk 或 glib（或其他一些易于重用的 C 库）中，我只是没有偶然发现它。谷歌搜索这个主题会产生很多错误的线索。

否则我的计划是使用这种类型的算法：

显然，一旦遇到致命错误，我会构建一些错误处理等以中止该过程。

每当我尝试列出的目录中有不可读的子目录时，此代码是否有任何方法不抛出 UnexpectedValueException“无法打开目录：权限被拒绝”？

更新

转换foreach()为while()并显式调用Iterator::next()Wrapped intry() catch {} 无济于事。这段代码：

如果存在不可读的子目录，则为无限循环。

那么如何递归搜索文件夹并取消隐藏目录中的所有文件和子文件夹？就像让它检查每个文件和每个文件夹......如果它们被隐藏......取消隐藏它们。我整个早上都在搞乱它，没有运气......我让所有文件夹恢复正常，但仅此而已。

I feel that assigning files, and folders and doing the += [item] part is a bit hackish. Any suggestions? I'm using Python 3.2

我在大硬盘上的 python 文件查找中搞乱了。我一直在看 os.walk 和 glob。我通常使用 os.walk，因为我发现它更整洁并且似乎更快（对于通常大小的目录）。

有没有人对它们都有任何经验并且可以说哪个更有效？正如我所说，glob 似乎更慢，但你可以使用通配符等，就像 walk 一样，你必须过滤结果。这是查找核心转储的示例。

或者

是否可以使用 Scala 延续（在 2.8 中引入）递归遍历目录？

我的目录包含数百万个文件，所以我不能使用aStream因为我会内存不足。我正在尝试编写一个Actor 调度来让工作人员并行处理文件。

有人有例子吗？