我有一个网站,我希望保持更新并每天从那里抓取一些内容。我知道该站点是在某个时间手动更新的,并且我已经设置了 cron 时间表来反映这一点,但是由于它是手动更新的,它可能会在 10 分钟甚至 20 分钟后进行。
现在我每 5 分钟有一个 hack-ish cron 更新,但我想使用延迟库以更精确的方式做事。我正在尝试链接延迟的任务,这样我就可以检查是否有更新,如果没有更新,则将相同的更新推迟几分钟,如果需要,再次推迟,直到最终有更新。
我有一些我认为可以工作的代码,但它只会推迟一次,而我需要继续推迟直到有更新:
(我正在使用 Python)
class Ripper(object):
def rip(self):
if siteHasNotBeenUpdated:
deferred.defer(self.rip, _countdown=120)
else:
updateMySite()
这显然只是一个简化的摘录。
我认为这很简单,但也许我完全错了?