问题标签 [amazon-s3-bucket]

我正在使用这个（上图）将数据从 s3 拉到 redshift 表。它工作正常但是有一个问题，当数据在第一次插入表时被提取/复制，但是当数据在 s3 存储桶文件中更新并且我们运行相同的查询时，它所做的是添加全新的数据行而不是覆盖已经创建的行。

如何停止重复？我只想在 s3 文件上更新数据时，在运行复制命令后，我的数据（行）被覆盖并用新数据替换行数据。

这是屏幕截图 - 正在添加更新数据的行

我试图从 s3 存储桶中获取最后修改的文件。我尝试了不同的方法来检索它。但它总是向我显示目录中的所有文件。有人可以请教吗？

我得到的输出是

我只需要最后一个文件“2022-01-24 17:40:24+00:00”

我试图使用 django-debug-toolbar 但它根本没有显示，所以我尝试检查我的页面，我发现实际上有一个 erro 403 禁止隐藏工具栏。我已经尝试了我所知道的一切，并像疯子一样在互联网上搜索，但解决别人问题的方法对我不起作用。对不起，如果代码很难理解，我还是一个新手程序员。如果需要任何其他信息，请告诉我

设置.py：

视图.py：

网址.py：

我可以使用 C# 将 S3 存储桶中的对象从一个目录移动到另一个目录，但无法复制该对象的所有当前权限。

例如，我当前的对象具有公共访问权限，但在将其移动到另一个目录后，它失去了公共读取权限。

这是我用来移动对象的代码：

这是将文件移动到另一个目录后的输出：

它失去了公开的“读取”权限。

希望有人能够解释这里发生了什么：

我一直在尝试将大文件从 AWS S3 下载到我的本地计算机。

使用标准：

aws s3 cp s3://my-big-file.file ./

我得到〜70 MiB / s

下载到外部驱动器时，我突然下降到约 10 Mib/s。

aws s3 cp s3://my-big-file.file /mtn/d/

起初，我认为这是有道理的，外部驱动器正在限制我。

但是，使用S3Browser，下载到外部驱动器，我得到 ~70 MiB/s。

这令人沮丧，因为我正在尝试自动下载项目......并且不能使用 S3Browser。

有什么想法吗？

谢谢！

编辑：我继续为 Powershell 安装 AWS CLI。

aws s3 cp 命令也与 S3Browser 一样快，因此 WSL 似乎存在一些瓶颈。现在我打算只在powershell中编写一个脚本，但我仍然很想知道这是什么原因！

就在今天，每当我运行时terraform apply，我都会看到类似这样的错误：Can't configure a value for "lifecycle_rule": its value will be decided automatically based on the result of applying this configuration.

昨天还在工作。

以下是我运行的命令：terraform init && terraform apply

以下是已初始化的提供程序插件列表：

以下是错误：

我的代码如下：

这是我的存储桶策略

{“版本”：“2012-10-17”，“ID”：“ ”，“声明”：[{“Sid”：“ ”，“效果”：“允许”，“原则”：“ ”，“行动" : [ "s3:PutObject", "s3:PutObjectAcl", "s3:GetObject", "s3:GetObjectAcl" ], "资源" : " ***************** ******" } ] }

这是我用来上传图片的代码：

并获得“存储桶不允许 ACL”，甚至在对象所有权中将其设置为“启用 ACL”

我正在 Amazon S3 上实现一个数据库，并且需要对我的索引对象（实现为 S3 对象）进行并发访问，因此我正在寻找一种方法来实现对 S3 对象的乐观锁定。

我最初的想法是利用S3 版本控制机制，并且仅当对象版本与我阅读时的版本匹配时才更新索引对象（使用 PUT 操作）。但是，根据 S3 文档，S3 版本控制似乎不支持此功能：PUT 不能以特定版本为条件，并且始终更新对象的最新版本。

我的问题是：

1. 是否可以使用 S3 版本控制来实现这种乐观锁定（似乎不是因为缺少以版本号为条件的 PUT）？

2. 如果 1 不可能，我是否可以使用我自己的版本控制（版本号保存为 S3 对象标签或其他对象元数据）来实现它——这可能还需要以元数据值为条件的对象放置/更新。

3. 如果 1 和 2 都不可能，我是否必须引入外部机制（例如 Zookeeper 或其他分布式锁定）来实现对 S3 对象的并发访问？这样做的最佳做法是什么？我考虑使用单独的锁定对象（实现为 S3 对象）来指示索引是否被锁定，但这种方案有一定的缺点。

我意识到以前也有人问过类似的问题，例如，（AWS S3 中是否存在乐观锁定？）。但是，由于 S3 现在采用了新的强一致性模型（写入、覆盖、列出和删除），以前的答案似乎不再有效。

我正在使用Firebase authentication创建颤振应用程序。但我需要将一些录音文件（mp3）存储到云存储中。我需要使用aws s3 作为要求。所以我试图将它与颤振结合起来。

我在 pub.dev 上找到了名为amplify_storage_s3的官方插件

但是我必须阅读我需要放大身份验证才能使用它的文档。

我不想使用放大身份验证，因为我已经通过 firebase 身份验证完成了它。

那我能做什么？

我为两个存储桶创建了一个多区域访问点，这两个存储桶都是公共的。但是，当我尝试使用多区域主机名访问对象时，我收到一个 XML 响应，指出该请求无效。我已经检查了所有公共访问框并创建了一个策略：

我仍然得到同样的回应。我还看到了以下问题，它提出了同样的问题，但即使接受的答案似乎也没有给出正确的解决方案： 如何创建公共多区域接入点策略？

公开多区域接入点的正确方法是什么？还是我试图错误地访问对象？

我正在做的是：[alias].accesspoint.s3-global.amazonaws.com/[object name]

这是正确的语法吗？