bash - 如何将 S3 的最后处理文件存储到 Redshift 数据库

Question

目前，我仅使用 AWS Data Pipeline 将当前日期和时间的数据从 Amazon S3 复制到 Amazon Redshift。我想每 30 分钟将数据从 S3 复制到 Redshift。最后处理的 S3 文件名也存储到另一个 Redshift 表中。

有人可以回答这个问题吗？

Answer 1

您可以使用RedshiftCopyActivity数据管道对象来执行此操作。对象中的schedule字段RedshiftCopyActivity接受可以按 30 分钟间隔运行的数据管道计划对象。您需要在 JSON 中定义一个完整的管道，包括您的所有 AWS 资源信息（Redshift 数据节点、EC2 实例、S3 存储桶和密钥）。JSON 模板中源数据文件的文件路径可以指向一个静态文件，该文件每 30 分钟被生成数据的任何内容覆盖。