amazon-web-services - 使用 S3 作为 AWS DMS 的目标：上传的文件名不会改变

Question

我们使用 DMS 从 SQL Server 获取数据并将其加载到 S3 存储桶中，然后最终使用 Snowpipe 将数据加载到 Snowflake DB 中以进行完全加载。

现在，为了让 Snowpipe 知道 S3 存储桶中有新数据，文件名需要与上一个不同。已尝试所有可用的任务设置选项（DROP_AND_CREATE、DO_NOTHING、TRUNCATE）以使文件名不同，但仍无法正常工作。它将文件名加载为 LOAD00000001.csv

在文档中，它显示文件名将是递增的（例如，LOAD00000001.csv、LOAD00000002.csv .. 等等）但它没有发生。这就是 Snowpipe 无法注册更改的原因。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.S3.html

有人可以帮忙吗？

Answer 1

对于 DMS，每次运行任务时，增量计数器都会从 1 开始。它没有“不要覆盖现有对象”功能。

您最好的选择可能是通过在文件夹中查找更新的对象时间戳或设置 S3 事件通知来自己处理负载。