1

好的,所以我目前正在使用 python 脚本一次将多个文件上传到给定的服务器。

我正在运行 python 版本 2.7.3。

def upload(t):
    server="server"
    user="user"
    password="password"
    service="service"
    ftp=ftplib.FTP(server)
    ftp.login(user=user,passwd=password,acct="")
    ftp.storbinary("STOR "+t.split('/')[-1], open(t,"rb"))
    print "{} has been uploaded to {}".format(t.split("/")[-1],service)
def ftp_upload(t=files):
    server="server"
    user="user"
    password="password"
    service="service"
    ftp.login(user=user,passwd=password,acct="")
    pool=multiprocessing.Pool(processes=4)
    pool.map(upload,t)

但是,我收到错误消息,因为发生套接字超时或其他事情(当我只使用 ftp 控制台命令时不会发生这种情况)。

似乎 subprocess 做了一些不同的事情?我什至不特别关心监控它。事实上,如果我与服务器的连接被弄乱了,我宁愿进程不要终止。任何报告都是肉汁。

错误信息:

 File "/usr/bin/jat", line 301, in ftp_upload
    pool.map(upload,files_to_upload)
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 227, in map
    return self.map_async(func, iterable, chunksize).get()
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 528, in get
    raise self._value
socket.timeout: timed out
4

1 回答 1

0

pool.Map() 将异常从它管理的子进程传播到主进程。请注意,异常是从 multiprocessing/pool.py 报告的,并且回溯以“raise self._value”结尾。

该行表示 socket.timeout 正在其中一个子进程中引发。我怀疑是您的 ftp.login 超时。根据ftplib 文档,如果您在创建对象时未指定全局默认超时,则 FTP 对象将使用全局默认超时。

附带说明一下,当子进程中发生异常时,我建议使用此问题的回答者建议的一种方法将更多细节传递回您的主线程。

于 2014-07-10T22:46:26.307 回答