2

我有一个不时访问的目录以检查其内容，因此我创建了此代码来检索此目录及其子目录中所有文件的列表路径：

our_dir='c:\\mydocs'
walk=os.walk(our_dir)

for path, folders, files in walk:
    for f in files:
        file_path=os.path.join(path,f)
        print file_path

该目录有 200K+ 文件和频繁的文件更改和添加，因此当代码完成运行时，将添加/更改更多文件。问题是如何执行以下操作：

  1. 对代码进行初始运行，以列出此目录中在初始运行开始时间之前创建/更改的所有文件路径
  2. 以某种方式存储在初始运行期间添加/更改的文件（在初始运行开始时间和初始运行结束时间之间）
  3. 对于每次后续运行，仅列出在当前运行之前和初始运行结束时间之后以及当前运行期间（当前运行开始时间和当前运行结束时间之间）创建的路径

关于如何做到这一点的任何想法？我只是想明确表示我不是在“监视/监视”该目录，而是不时访问它。

4

1 回答 1

3

这是一个非常基本的结构理念：每个文件夹都有自己的线程。您将有 2 个类，一个用于收集数据“directoryHelper”，另一个用于存储数据“Directory”。

需要两个类，因为一个线程只能启动一次，并且您需要能够为已经列出的目录生成一个新线程而不会丢失其数据。

根目录将是一个目录实例，列出它的给定路径（'C:\mydocs'）。它将文件列表存储在 self.files 中，并为其包含的每个目录创建一个新的 Directory 实例（不会忘记 self.dirs 中的它们以便能够访问它们。

可以定时刷新，并按照您的建议检查目录的修改日期。

这里有一些代码可以帮助你理解我的想法：

class Helper(threading.Thread):
  def __init__(self, directory):
    super(Helper, self).__init__()
    self.directory = directory
    self.start()

  def run(self):
    for path, folders, files in os.walk(self.directory.path):
      for f in files:
          self.directory.files.append(os.path.join(path, f))

      for d in folders:
          self.directory.dirs.append(Directory(os.path.join(path, d), self.directory.interval, self.directory.do))

    self = None

class Directory(threading.Thread):
  def __init__(self, path, interval=5, do=None):
    super(Directory, self).__init__()
    self.path = path
    self.files, self.dirs = ([], [])
    self.interval = interval
    self.last_update = 0
    self.helper = None

    self.do = do # One flag to stop refreshing all instances
    if do == None:
      self.do = True

  def run(self):
    while self.do:
      self.refresh()
      time.sleep(self.interval)

  def refresh(self):
    # Only start a refresh if there self.helper is done and directory was changed
    if not self.helper and self.has_changed():
      self.last_update = int(time.time())
      self.helper = Helper(self)

  def has_changed(self):
    return int(os.path.getmtime(self.path)) > self.last_update

我认为这应该足以让你开始！

编辑：我稍微更改了代码以实际处于工作状态。或者至少我希望它是（我还没有测试过）！

编辑 2：我实际上花时间测试并修复它。我跑了：

if __name__ == '__main__':
  root = Directory('/home/plg')
  root.refresh()
  root.helper.join()

  for d in [root] + root.dirs:
    for f in d.files:
      print f

和：

$ time python bin/dirmon.py | wc -l # wc -l == len(sys.stdout.readlines())
7805

real  0m0.078s
user  0m0.048s
sys 0m0.028s

那就是每秒 7805 / 0.078 = 100,064 个文件。还不错！:)

编辑 3（最后一个！）：我在“/”上运行测试，第一次运行（没有缓存）：147551 / 4.103 = 35,961 个文件/秒

第二和第三：

$ time python bin/dirmon.py | wc -l
147159

real  0m1.213s
user  0m0.940s
sys 0m0.272s
$ time python bin/dirmon.py | wc -l
147159

real  0m1.209s
user  0m0.928s
sys 0m0.284s

147551 / 1.213 = 每秒 121,641 个文件

147551 / 1.209 = 每秒 122,044 个文件

于 2013-09-16T19:56:21.740 回答