问题标签 [aws-datasync]

我正在为跨不同区域的 EFS-EFS 自动执行 AWS Datasync 任务。我在 python 中编写了一个 lambda 代码，并希望通过 CloudWatch 事件 cron 表达式开始执行数据同步任务。

我在 python 中的上述 lambda 代码上遇到错误。任何人都可以帮我更正上面的代码吗？

我需要将 S3 存储桶的所有内容复制到另一个 S3 存储桶。计划使用s3 sync。

在这个过程之后，有什么方法可以验证是否所有数据都迁移到了新的存储桶中？（即没有数据丢失或丢失）

或者是否有任何保证数据不会丢失（在官方文档中的任何地方指定？）？

我在俄勒冈地区配置了 EFS，但由于 EFS 现在在东京地区可用，所以我想将所有 EFS 数据传输到已经创建 EFS 的东京地区。

AWS doc 提到了 AWS-DataSync，但它无法按预期通过代理将数据从一个 efs 复制到不同区域内的另一个。

谁能建议我一些可以轻松复制数据的更好的解决方案。Rsync 和 s3cmd 是单线程的，太慢了。

我已经创建了一个 DataSync 代理，但是在创建任务时它无法在目标步骤中向我显示目标 efs。

我想知道是否有任何 AWS 服务可以将现有数据从阿里云 OSS 迁移到 Aws S3 存储桶。这是阿里云中的一个从S3迁移到OSS的服务。我需要相反的 https://www.alibabacloud.com/blog/migrating-from-aws-s3-to-alibaba-cloud-oss-using-data-migration-service_594382

我们有一个正在运行的本地 DataSync 代理（VM 映像）和一个带有挂载目标的 EFS。

我们希望授予代理访问挂载目标的权限，以便运行同步任务。但是，似乎没有任何可分配给代理的安全组，我们可以授予对挂载目标的出口访问权限。

因此，目前，我们授予对挂载目标的公共出口访问权限。有什么办法可以把这个问题交给代理吗？如果代理在 EC2 实例上运行，则可以为实例本身分配一个安全组，但当代理在本地运行时似乎没有任何替代方案。

我有一个工作流程，将 700gb 的文件从 ftp 服务器移动到本地服务器以进行 python 脚本处理。

我想将此过程迁移到 AWS s3 存储桶以供 lambda 处理。
我认为 AWS 数据同步是一种价格合理的解决方案 (0.0125/gb)，可以将此数据移动到 S3 存储桶。但不是来自 ftp 站点。

任何人有建议如何做到这一点？

注意：我查看了 filezilla pro，但无法使用批处理命令或脚本来自动化此过程。

我正在尝试使用 AWS Data Sync 将数据从 On Premise VM 同步到 AWS S3 存储桶，我已经在 On Prem VM 上配置了 AWS Data Sync 代理，该代理现在在线，我们还创建了一个新任务，该任务在状态下可用。

当我尝试使用任务将 NFS 文件系统中的数据同步到 S3 存储桶时，我们得到以下提到的错误：

“DataSync 无法检测到源 NFS 文件系统中的任何文件”

我们正在使用 Postgres RDS 实例（db.t3.2xlarge 大约 2TB 数据）。我们有一个多租户应用程序，因此对于注册我们产品的所有组织，我们正在创建一个单独的模式来复制我们的数据模型。现在我们的几个模式（大约 5 到 10 个模式）包含几个大表（大约 5 到 7 个大表，每个表包含 10 到 2 亿行）。对于 UI，我们需要显示一些静态数据和图形，并计算这些静态数据和图形数据，我们需要在大表上执行连接，这会减慢整个数据库服务器的速度。有时我们需要在夜间进行此类查询，以免用户遇到任何性能问题。因此，我们计划在 S3 中创建一个数据湖的解决方案，以便我们可以将所有分析负载从 RDBMS 转移到 OLAP 解决方案。

作为第一步，我们需要将数据从 RDS 传输到 S3，并保持同步两个数据源。考虑到以下要求，您能否建议我们选择哪种工具更好：

1. 我们需要每小时更新最近 3 天的数据。我们希望不断更新最近的数据，因为在 3 天的时间窗口内，它可能会发生变化。3 天后，我们可以认为数据“处于静止状态”，它可以在数据湖中静止，无需任何未来修改。
2. 我们目前正在使用多租户系统，我们有大约 350 个模式，但随着越来越多的组织注册我们的产品，它将会增加。
3. 我们计划进行 ETL，因此在转换中，我们计划连接所有表并创建一个非规范化表，并将数据以 apache parque 格式存储在 S3 中。这样我们就可以使用 Redshift Spectrum、EMR 或其他工具对该表执行分析查询。

问题：
我有一个旧的 S3 存储桶：存储桶 A和一个新的 S3 存储桶：存储桶 B。这些存储桶位于不同的帐户中。到目前为止，我一直在为存储桶 A提供资产。展望未来，我想从存储桶 B提供资产。我仍然必须支持推送到存储桶 A。但是，推送到存储桶 A 的那些资产必须可以从存储桶 B中检索到。

可能的解决方案：
在每次新推送到存储桶 A ( PutObject ) 时，我必须将该对象从存储桶 A同步到存储桶 B。据我了解，有两种方法可以实现这一点：

1. 将 AWS Lambda 与 Amazon S3 结合使用
2. 使用数据同步 <-- preferred solution

解决方案 2 的问题：
我感觉使用 DataSync 的路径会不那么复杂。但是，我不清楚如何做到这一点，或者是否有可能。我在文档中看到的示例（当然有很多要筛选的内容）与这个用例并不完全相同。在控制台中，它似乎不允许跨多个 AWS 账户执行任务。

我在这里看到的断开连接是，文档暗示它是可能的。但是，当您在 AWS 控制台中导航到 DataSync 位置时，只能选择在您的 AWS 账户 S3 存储桶列表中添加位置。

我在账户 A 中部署了 AWS DataSync 代理，我想将 DataSync 目标位置配置为账户 B 中的 S3 存储桶。是否可以这样做？如果是这样，有人可以提供一些指导吗？这个空间似乎缺少文档。