python - Python Walk，但轻线程

Question

我想递归地遍历一个目录，但是如果 python 遇到一个包含超过 100 个文件的目录，我希望它从任何单个 listdir 中中断。基本上，我正在搜索 (.TXT) 文件，但我想避免使用大型 DPX 图像序列（通常为 10,000 个文件）的目录。由于 DPX 自己存在于没有子目录的目录中，我想尽快打破这个循环。

长话短说，如果 python 遇到匹配“.DPX$”的文件，它会停止列出子目录，退出，跳过该子目录并继续在其他子目录中遍历。

这是否可以在返回所有列表结果之前打破目录列表循环？

Answer 1

如果你的意思是“目录列表循环”，os.listdir()那么没有。这是不能断的。但是，您可以查看os.path.walk()oros.walk()方法并删除所有包含DPX文件的目录。如果你使用os.walk()并且是自上而下的，你可以通过修改目录列表来影响 Python 进入的目录。os.path.walk()允许您使用访问方法选择步行地点。

Answer 2

根据以下文档os.walk：

当topdown为True时，调用者可以就地修改dirnames列表（例如，通过del或切片分配），并且walk()只会递归到名称保留在dirnames中的子目录；这可用于修剪搜索，或强加特定的访问顺序。topdown时修改 dirnames是无效的，因为 dirnames 中的目录在 dirnames本身生成时已经生成。False

因此，理论上，如果您清空，dirnames则os.walk不会递归任何其他目录。注意关于“...通过 del 或 slice 赋值”的注释；您不能简单地这样做dirnames=[]，因为这实际上不会影响dirnames列表的内容。

Answer 3

避免使用 os.listdir 分配名称列表的正确方法是使用@Charles Duffy 所说的 os 级别函数。

灵感来自另一篇文章：将文件夹中的文件列为流以立即开始处理

我添加了如何解决特定的OP问题并使用了该功能的可重入版本。

from ctypes import CDLL, c_char_p, c_int, c_long, c_ushort, c_byte, c_char, Structure, POINTER, byref, cast, sizeof, get_errno
from ctypes.util import find_library

class c_dir(Structure):
    """Opaque type for directory entries, corresponds to struct DIR"""
    pass

class c_dirent(Structure):
    """Directory entry"""
    # FIXME not sure these are the exactly correct types!
    _fields_ = (
        ('d_ino', c_long), # inode number
        ('d_off', c_long), # offset to the next dirent
        ('d_reclen', c_ushort), # length of this record
        ('d_type', c_byte), # type of file; not supported by all file system types
        ('d_name', c_char * 4096) # filename
        )
c_dirent_p = POINTER(c_dirent)
c_dirent_pp = POINTER(c_dirent_p)
c_dir_p = POINTER(c_dir)

c_lib = CDLL(find_library("c"))
opendir = c_lib.opendir
opendir.argtypes = [c_char_p]
opendir.restype = c_dir_p

readdir_r = c_lib.readdir_r
readdir_r.argtypes = [c_dir_p, c_dirent_p, c_dirent_pp]
readdir_r.restype = c_int

closedir = c_lib.closedir
closedir.argtypes = [c_dir_p]
closedir.restype = c_int

import errno

def listdirx(path):
    """
    A generator to return the names of files in the directory passed in
    """
    dir_p = opendir(path)

    if not dir_p:
        raise IOError()

    entry_p = cast(c_lib.malloc(sizeof(c_dirent)), c_dirent_p)

    try:
        while True:
            res = readdir_r(dir_p, entry_p, byref(entry_p))
            if res:
                raise IOError()
            if not entry_p:
                break
            name = entry_p.contents.d_name
            if name not in (".", ".."):
                yield name
    finally:
        if dir_p:
            closedir(dir_p)
        if entry_p:
            c_lib.free(entry_p)

if __name__ == '__main__':
    import sys
    path = sys.argv[1]
    max_per_dir = int(sys.argv[2])
    for idx, entry in enumerate(listdirx(path)):
        if idx >= max_per_dir:
            break
        print entry