0

我正在使用Watchdog监视一个目录，以查看某个目录，以查看某个时间间隔内通过ftplib下载的新.xml文件。当看门狗看到文件时，on_created()会触发一个函数来处理/解析 xml，但似乎文件下载尚未完成导致后续函数中出现丢失数据错误。

我在调用函数之前添加了一个time.sleep(1)来缓解错误，但添加延迟在现实世界中似乎是一种不可靠的方法。我想知道是否有一种类似于我可以使用的承诺函数与延迟的方法。或者也许我完全误诊了这个问题并且有一个简单的答案？接受任何建议。

仅供参考...文件大小可能从大约 100K 到 4-5mg 不等。

FTP功能

def download(f):
    ftpt = ftplib.FTP(server)
    ftpt.login(username, password)
    ftpt.cwd(ftp_dir)
    print 'Connected to FTP directory'
    if f.startswith('TLC-EMAILUPDATE'):
        if os.path.exists(dl_dir + f) == 0:
            fhandle = open(os.path.join(dl_dir, f), 'wb')
            print 'Getting ' + f
            ftpt.retrbinary('RETR ' + f, fhandle.write)
            fhandle.close()
        elif os.path.exists(dl_dir + f) == 1:
            print 'File', f, 'Already Exists, Skipping Download'


ftp = ftplib.FTP(server)
ftp.login(username, password)
ftp.cwd(ftp_dir)
infiles = ftp.nlst()

pool = Pool(4)
pool.map(download, in files)

看门狗

def on_created(self, event):
    self.processfile(event)
    base = os.path.basename(event.src_path)
    if base.startswith('TLC-EMAILUPDATE'):
        print 'File for load report has been flagged'
        xmldoc = event.src_path
        if os.path.isfile(xmldoc) == 1:
            print 'File download complete'
            send_email(xmldoc)

发送邮件（带睡眠）

在解析无法从下载文件中读取任何数据的内容变量处引发异常。

def send_email(xmldoc):
    time.sleep(2)
    content = str(parse_xml.create_template(xmldoc))
    msg = MIMEText(content, TEXT_SUBTYPE)
    msg['Subject'] = EMAIL_SUBJECT
    msg['From'] = EMAIL_SENDER
    msg['To'] = listToStr(EMAIL_RECEIVERS)

    try:
        smtpObj = SMTP(GMAIL_SMTP, GMAIL_SMTP_PORT)
        smtpObj.ehlo()
        smtpObj.starttls()
        smtpObj.ehlo()
        smtpObj.login(user=EMAIL_SENDER, password=EMAIL_PASS)
        smtpObj.sendmail(EMAIL_SENDER, EMAIL_RECEIVERS, msg.as_string())
        smtpObj.quit()
        print 'Email has been sent to %s' % EMAIL_RECEIVERS
    except SMTPException as error:
        print 'Error: unable to send email : {err}'.format(err=error)
4

1 回答 1

1

简单的回答：切换到监控CLOSE_WRITE事件。唉看门狗不直接支持它。任何一个：

1）切换到pyinotify并使用以下代码——仅限 Linux，而不是 OSX

2）使用看门狗on_any_event()

pyinotify 示例源

import os, sys

import pyinotify

class VideoComplete(pyinotify.ProcessEvent):
    def process_IN_CLOSE_WRITE(self, event):
        sys.stdout.write(
            'video complete: {}\n'.format(event.pathname)
        )
        sys.stdout.flush()

def main():
    wm = pyinotify.WatchManager()
    notifier = pyinotify.Notifier(
        wm, default_proc_fun=VideoComplete(),
        )
    mask = pyinotify.ALL_EVENTS
    path = os.path.expanduser('~/Downloads/incoming')
    wm.add_watch(path, mask, rec=True, auto_add=True)
    notifier.loop()

if __name__=='__main__':
    main()

下载文件

echo beer > ~/Downloads/incoming/beer.txt

输出

video complete: /home/johnm/Downloads/incoming/beer.txt
于 2014-07-17T17:38:30.147 回答