0

如何将多个文件上传到 AWS S3？

我尝试了两种方法，但都失败了：

1)s3cmd 显示以下错误，即使文件只有 270KB。

   $s3cmd put file_2012_07_05_aa.gz  s3://file.s3.oregon/
   file_2012_07_05_aa.gz -> s3://file.s3.oregon/file_2012_07_05_aa.gz  [1 of 1]
   45056 of 272006    16% in    1s    25.62 kB/s  failed
   WARNING: Upload failed: /file_2012_07_05_aa.gz ([Errno 32] Broken pipe)
   WARNING: Retrying on lower speed (throttle=0.00)
   WARNING: Waiting 3 sec...

2）使用boto的S3接口。

仅当我使用“美国标准”创建存储桶时，boto 库才对我正常工作，如果我选择俄勒冈等其他地区，它将失败并显示“对等方重置连接”

def connect_to_s3(access_key, secret_key):
    conn = S3Connection(access_key, secret_key)
    return conn


def percent_cb(complete, total):
    sys.stdout.write('.')
    sys.stdout.flush()

def upload_to_s3(bucket, file_name):
    key = bucket.new_key(file_name)
    key.set_contents_from_filename(file_name,cb=percent_cb, num_cb=10)
4

3 回答 3

2

或者，您可以使用Minio Client aka mc

使用 mc mirror 这可以实现

 
$ mc 镜像 localdir S3alias/remotebucket

如果由于网络问题或限制断开连接，Minio Client 将从上次离开的位置开始上传。

mc：会话安全终止。恢复会话'mc session resume yarbWRwf'

希望能帮助到你。

Dasclaimer：我为 Minio工作

于 2016-06-22T04:56:24.523 回答
1

当 socket_timeout 值太低时，历史上会发生断管错误。请检查您的 ~/.s3cfg 文件以确保已设置 socket_timeout = 300。

默认值从 10 秒更改为 300 秒：

commit b503566c362c81dc8744a569820461c1c39bacae
Author: Michal Ludvig <mludvig@logix.net.nz>
Date:   Mon Apr 11 02:01:08 2011 +0000
* S3/Config.py: Increase socket_timeout from 10 secs to 5 mins.
于 2014-04-26T06:03:40.447 回答
0

我个人最喜欢的解决方案是使用 Cyber​​Duck。您使用 S3 API 密钥凭据登录，它就像文件系统浏览器一样工作。如果你用你的 20000 个文件拖动你的文件夹，它会像这样上传它们。下载同样简单。

于 2017-04-12T21:40:21.807 回答