6

我正在编写一个下载大文件（~150MB）并将数据解析为更有用的文本格式文件的程序。下载过程，尤其是解析过程很慢（总共约 20 分钟），所以我想缓存结果。

下载的结果是一堆文件，解析的结果是单个文件，所以我可以手动检查这些文件是否存在，如果存在，检查它们的修改时间；但是，由于我已经在代码中的其他地方使用带有 redis 后端的 dogpile 进行 Web 服务调用，所以我想知道 dogpile 是否可以用于此目的？

所以我的问题是：dogpile 可以根据文件的修改时间来缓存文件吗？

4

1 回答 1

0

为什么你不想把程序分成几个部分：

  • 下载器

  • 解析器和保存器

  • 有结果的工人

您可以使用缓存变量来存储您需要的值，您将在文件更新时对其进行更新。

   import os
   import threading
   _lock_services=threading.Lock()
   tmp_file="/tmp/txt.json"
   update_time_sec=3300
   with _lock_services:
   # if file was created more the 50min ago
   # here you can check if file was updated and update your cache variable
        if os.path.getctime(tmp_file) < (time.time() - update_time_sec):
            os.system("%s  >%s" %("echo '{}'",tmp_file))

        with open(tmp_file,"r") as json_data:
            cache_variable = json.load(json_data)
于 2015-02-24T11:08:21.543 回答