1

因此，我正在编写一个脚本，用于将大型文件服务器（目录）备份到多个 FTP 帐户/服务/任何东西（目前可怜的秘书有一个复制和粘贴文件到这样做，但无论如何我已经接近有一个工作脚本来将她从那个=D中拯救出来）。

我之前并没有真正搞乱线程或多处理，但我不知道如何让它获取文件列表并一次将它们全部上传到主机 3-5（在这个例子中，我'正在尝试 5，但我不知道我会决定什么）。

import os, sys, subprocess, shutil, re, string, glob, tvdb_api, itertools, multiprocessing, ftplib

files = [os.path.join(r, f) for r, d, fs in os.walk(os.getcwd()) for f in fs if not f[0]=='.']
class FTP_Upload:
    def __init__(self, p=os.getcwd()):
        self.files_to_upload = sorted([f for f in files if os.path.split(f)[0] == p])
        self.target = raw_input("Enter the host you want to upload to: ")
        self.host = FTP('ftp.host1.com', 'user_name1', 'super_secret_password1') if self.target == 'host' else FTP('ftp.host2.com', 'user_name2', 'secret_password2') if self.target == 'host2' else None
    def upload_files(self, f):
        self.host.storbinary(('STOR /'+f.split('/')[-1]), open(f, 'rb'))
    def multiupload(self):
        p = multiprocessing.Pool(processes=5)
        p.map(self.upload_files(f), self.files_to_upload)
FTP_Upload().multiupload()

但这只是上传 self.files_to_upload 中的最后一个文件...

我试着让文件列表成为可迭代的

self.files_to_upload = iter(sorted([f for f in files if os.path.split(f)[0] == p]))

但没有喜悦。

提前感谢您的帮助！

4

1 回答 1

2

如果我理解正确的话，这种事情可以很容易地用multiprocessing. 只需编写一个函数来上传一个文件——

例如

def upload_one(filename):
    """ This function uploads one file.  
        Perhaps is a a wrapper to your Popen call? """

然后对文件列表使用多重处理

mylistoffiles=[ ] #Somehow generate your list of files to be uploaded.
import multiprocessing
Pool=multiprocessing.Pool(processes=X)   #X is the number of processes you want to use
Pool.map(upload_one,mylistoffiles)

您还可以使用块大小，如果上传速度很快，它会加快速度。

当然，如果您需要传递的信息不仅仅是文件名，一种非常简单的方法是让您的文件列表成为元组列表并将它们解压缩到函数中。

警告

有些人可能会认为这是一种不好的做法，因为您实际上是在使用 map 函数来产生副作用......

编辑

我认为你的问题是p.map(self.upload_files(f), self.files_to_upload) 我不熟悉FTPpython 中的，所以我不能肯定地说，但你想将一个函数作为第一个参数传递给p.map. 您正在传递函数的输出——您可能编写了一个返回函数的函数，但从上面的代码中看起来并不像它。

你可能想要的是：

p.map(self.upload_files,self.files_to_upload)

通常，对map函数的调用可以转换为列表推导，如下所示：

map(function,iterable)

几乎等同于

[function(i) for i in iterable]

（几乎等效，因为在 python3.x 中map返回一个生成器。请注意，map您实际上并没有调用该函数。

最终编辑（希望）

您遇到了multiprocessing. 您发送的所有对象都必须是可腌制的。显然，您的实例方法（绑定到类实例的方法）不可腌制。一种解决方案是您可以将其更改为常规功能。您可以按如下方式进行。

import os, sys, subprocess, shutil, re, string, glob, tvdb_api, itertools, multiprocessing, ftplib

#No longer an instance method -- just a regular function.
#accepts an iterable and then splits it as [host,filename]
def upload_files(inpt):
    host=inpt[0]
    f=inpt[1]
    #host,f=inpt  #This might be a little cleaner, depending on your programming style.
    host.storbinary(('STOR /'+f.split('/')[-1]), open(f, 'rb'))

files = [os.path.join(r, f) for r, d, fs in os.walk(os.getcwd()) for f in fs if not f[0]=='.']
class FTP_Upload:
    def __init__(self, p=os.getcwd()):
        self.files_to_upload = sorted([f for f in files if os.path.split(f)[0] == p])
        self.target = raw_input("Enter the host you want to upload to: ")
        self.host = FTP('ftp.host1.com', 'user_name1', 'super_secret_password1') if self.target == 'host' else FTP('ftp.host2.com', 'user_name2', 'secret_password2') if self.target == 'host2' else None
    def multiupload(self):
        p = multiprocessing.Pool(processes=5)
        upload_this=[(self.host,f) for f in self.files_to_upload]
        p.map(upload_files,upload_this)
FTP_Upload().multiupload()

希望这对你有用。祝你好运！

于 2012-05-07T12:34:37.820 回答