3

我正在尝试在python中上传文件，我想以可恢复模式上传文件，即当互联网连接恢复时，文件上传从上一阶段恢复。

是否有任何支持可恢复文件上传的特定协议。

提前致谢

4

2 回答 2

2

因此，您需要查找文件并发送 REST 命令来告诉服务器从正确的位置下载。

以下代码将尝试直到完成上传简历，调试也已打开，因此您可以关注：

#!/usr/bin/env python3
import ftplib
import os
import sys
import time
import socket

class FtpUploadTracker:
    sizeWritten = 0
    totalSize = 0.0
    lastShownPercent = 0

    def __init__(self, totalSize):
        self.totalSize = totalSize

    def handle(self, block):
        self.sizeWritten += 1024
        percentComplete = round((self.sizeWritten / self.totalSize) * 100)

        if (self.lastShownPercent != percentComplete):
            self.lastShownPercent = percentComplete
            print(str(percentComplete) + "% complete ramaing: " + str(self.totalSize - self.sizeWritten), flush=True)



if __name__ == "__main__":
    Server="servername.com"
    Username="username"
    Password="secret password"
    filename = "/path/to/folder"
    Directory="/path/on/server"

    tries = 0
    done = False

    print("Uploading " + str(filename) + " to " + str(Directory), flush=True)

    while tries < 50 and not done:
        try:
            tries += 1
            with ftplib.FTP(Server) as ftp:
                ftp.set_debuglevel(2)
                print("login", flush=True)
                ftp.login(Username, Password)
                # ftp.set_pasv(False)
                ftp.cwd(Directory)
                with open(filename, 'rb') as f:
                    totalSize = os.path.getsize(filename)
                    print('Total file size : ' + str(round(totalSize / 1024 / 1024 ,1)) + ' Mb', flush=True)
                    uploadTracker = FtpUploadTracker(int(totalSize))

                    # Get file size if exists
                    files_list = ftp.nlst()
                    print(files_list, flush=True)
                    if os.path.basename(filename) in files_list:
                        print("Resuming", flush=True)
                        ftp.voidcmd('TYPE I')
                        rest_pos = ftp.size(os.path.basename(filename))
                        f.seek(rest_pos, 0)
                        print("seek to " + str(rest_pos))
                        uploadTracker.sizeWritten = rest_pos
                        print(ftp.storbinary('STOR ' + os.path.basename(filename), f, blocksize=1024, callback=uploadTracker.handle, rest=rest_pos), flush=True)
                    else:
                        print(ftp.storbinary('STOR ' + os.path.basename(filename), f, 1024, uploadTracker.handle), flush=True)
                        done = True

        except (BrokenPipeError, ftplib.error_temp, socket.gaierror) as e:
            print(str(type(e)) + ": " + str(e))
            print("connection died, trying again")
            time.sleep(30)


    print("Done")

神奇的线是：

print(ftp.storbinary('STOR ' + os.path.basename(filename), f, blocksize=1024, callback=uploadTracker.handle, rest=rest_pos), flush=True)

其中有rest=rest_pos.

如果给定了可选的 rest，则将 REST 命令发送到服务器，将 rest 作为参数传递。rest 通常是请求文件的字节偏移量，告诉服务器在请求的偏移量处重新开始发送文件的字节，跳过初始字节。但是请注意，RFC 959 只要求 rest 是一个字符串，其中包含从 ASCII 码 33 到 ASCII 码 126 的可打印范围内的字符。因此，transfercmd() 方法将 rest 转换为字符串，但不检查字符串的内容. 如果服务器无法识别 REST 命令，则会引发 error_reply 异常。如果发生这种情况，只需调用 transfercmd() 而不使用 rest 参数

Source
还有一些取自这里的代码

于 2018-03-26T13:34:25.243 回答
0

GuySoft 的出色回答 - 它对我帮助很大。我不得不稍微修改它，因为我（到目前为止）从未遇到过他的脚本捕获的三个异常，但是我在 FTP 上传时遇到了很多 ConnectionResetError 和 socket.timeout 错误，所以我添加了它。我还注意到，如果我在 ftp 登录时添加 60 秒的超时，ConnectionResetErrors 的数量会显着下降（但不是全部一起）。经常发生上传在 ftp.storbinary 上一直卡在 100% 直到 socket.timeout，然后尝试 49 次并退出的情况。我通过比较 totalSize 和 rest_pos 来解决这个问题，并在相等时退出。所以我现在有工作解决方案，但我会尝试找出导致套接字超时的原因。有趣的是，当我使用 Filezilla 甚至 PHP 脚本时，上传到同一个 FTP 服务器的文件可以正常工作。

于 2021-06-21T21:21:27.067 回答